<div dir="ltr"><div>Could also review the node log in /varlog/slurm/ .  Often sinfo -lR will tell you the cause, fro example mem not matching the config.</div><div><br></div><div>Doug<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, May 25, 2023 at 5:32 AM Ole Holm Nielsen <<a href="mailto:Ole.H.Nielsen@fysik.dtu.dk">Ole.H.Nielsen@fysik.dtu.dk</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On 5/25/23 13:59, Roger Mason wrote:<br>
> slurm 20.02.7 on FreeBSD.<br>
<br>
Uh, that's old!<br>
<br>
> I have a couple of nodes stuck in the drain state.  I have tried<br>
> <br>
> scontrol update nodename=node012 state=down reason="stuck in drain state"<br>
> scontrol update nodename=node012 state=resume<br>
> <br>
> without success.<br>
> <br>
> I then tried<br>
> <br>
> /usr/local/sbin/slurmctld -c<br>
> scontrol update nodename=node012 state=idle<br>
> <br>
> also without success.<br>
> <br>
> Is there some other method I can use to get these nodes back up?<br>
<br>
What's the output of "scontrol show node node012"?<br>
<br>
/Ole<br>
<br>
</blockquote></div>