<div dir="ltr">Hi Chris,<div><br></div><div>  If it just requires restarting slurmctld and the slurmd processes on the nodes, I will be happy! Can you confirm that no running or pending jobs were lost in the transition?</div><div><br></div><div>Thanks,</div><div>Nate</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Feb 20, 2020 at 6:54 PM Chris Samuel <<a href="mailto:chris@csamuel.org">chris@csamuel.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On 20/2/20 2:16 pm, Nathan R Crawford wrote:<br>
<br>
>    I interpret this as, in general, changing SelectType will nuke <br>
> existing jobs, but that since cons_tres uses the same state format as <br>
> cons_res, it should work.<br>
<br>
We got caught with just this on our GPU nodes (though it was fixed <br>
before I got to see what was going on) - it seems that the format of the <br>
RPCs changes when you go from cons_res to cons_tres and we were having <br>
issues until we restarted slurmd on the compute nodes as well.<br>
<br>
My memory is that this was causing issues for starting new jobs (in a <br>
failing completely type of manner), I'm not sure what the consequences <br>
were for running jobs (though I suspect it would not have been great for <br>
them).<br>
<br>
If Doug sees this he may remember this (he caught and fixed it).<br>
<br>
All the best,<br>
Chris<br>
-- <br>
  Chris Samuel  :  <a href="http://www.csamuel.org/" rel="noreferrer" target="_blank">http://www.csamuel.org/</a>  :  Berkeley, CA, USA<br>
<br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><pre>Dr. Nathan Crawford              <a href="mailto:nathan.crawford@uci.edu" target="_blank">nathan.crawford@uci.edu</a>
Director of Scientific Computing
School of Physical Sciences
164 Rowland Hall                 Office: 2101 Natural Sciences II
University of California, Irvine  Phone: 949-824-4508
Irvine, CA 92697-2025, USA</pre></div></div></div></div></div></div>