<div dir="ltr">On 29 July 2018 at 04:32, Felix Wolfheimer <span dir="ltr"><<a href="mailto:f.wolfheimer@googlemail.com" target="_blank">f.wolfheimer@googlemail.com</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I'm experimenting with <span id="m_-7306597689671615005:ul.1">SLURM</span> Elastic Compute on a cloud platform. I'm facing the following situation: Let's say, <span id="m_-7306597689671615005:ul.3">SLURM</span> requests that a compute instance is started. The <span id="m_-7306597689671615005:ul.4">ResumeProgram</span> tries to create the instance, but doesn't succeed because the cloud provider can't provide the instance type at this point in time (happens for example if a <span id="m_-7306597689671615005:ul.6">GPU</span> instance is requested, but the <span id="m_-7306597689671615005:ul.7">datacenter</span> simply doesn't have the capacity to provide this instance). <div><span id="m_-7306597689671615005:ul.8">SLURM</span> will mark the instance as "DOWN" and will not try again to request it. For this scenario this behavior is not optimal. Instead of marking the node DOWN and not trying to request it again after some time, I'd like that <span id="m_-7306597689671615005:ul.9">slurmctld</span> just forgets about the failure and tries again to start the node. Is there any knob which can be used to achieve this behavior? Optimally, the behavior might be triggered by the return code of the ResumeProgram, e.g., </div><div><br></div><div>return code=0 - Node is starting up</div><div>return code=1 - A permanent error has occurred, don't try again</div><div>return code=2 - A temporary failure has occurred. Try again later.</div><div><br></div></div>
</blockquote><div><br></div><div><br></div><div>I don't have an answer to your question - but I would like to know how you manage injecting the hostname and/or IP address into slurm.conf and then distribute it in this situation? <br></div><div><br></div><div>I have read the documentation, but it doesn't indicate a best practice in this scenario iirc.<br></div><div><br></div><div>Is it as simple as doing those steps - wait for boot, grab hostname, inject into slurm.conf, distribute slurm.conf to nodes, restart slurm?</div><div><br></div><div>Cheers</div><div>L.<br></div></div></div></div>