<div dir="ltr">I'm experimenting with slurm powersave and I have several questions. I'm following the guidance from <a href="https://slurm.schedmd.com/power_save.html">https://slurm.schedmd.com/power_save.html</a> and the great presentation from our own <a href="https://slurm.schedmd.com/SLUG23/DTU-SLUG23.pdf">https://slurm.schedmd.com/SLUG23/DTU-SLUG23.pdf</a><div><br></div><div>I am running slurm 23.02.3</div><div><br></div><div>1) I'm not sure I fully understand ReconfigFlags=KeepPowerSaveSettings</div><div>The documentations ways that if set, an "scontrol reconfig" command will preserve the current state of SuspendExcNodes, SuspendExcParts and SuspendExcStates. Why would one *NOT* want to preserve that? What would happen if one does not (or does) have this setting? For now I'm using it, assuming that it means "if I run scontrol reconfig" don't shut off nodes that are up because I said so that they should be up in slurm.conf with those three options" --- but I am not clear if that is really what it says.</div><div><br></div><div>2) the PDF above says that the problem with nodes in down and drained state is solved in 23.02 but that does not appear to be the case. Before running my experiment, I had </div><div><br></div><div><font face="monospace">$ sinfo -R<br>REASON               USER      TIMESTAMP           NODELIST<br>Not responding       root      2023-09-13T13:14:50 node31<br>ECC memory errors    root      2023-08-26T07:21:04 node27<br></font></div><div><br></div><div>and after it became</div><div><br></div><div><font face="monospace">$ sinfo -R<br>REASON               USER      TIMESTAMP           NODELIST<br>Not responding       root      2023-09-13T13:14:50 node31<br>none                 Unknown   Unknown             node27<br></font></div><div><br></div><div>And that despite having excluded drain'ed nodes as below:</div><div><br></div><div><font face="monospace">--- a/slurm/slurm.conf<br>+++ b/slurm/slurm.conf<br>@@ -140,12 +140,15 @@ SlurmdLogFile=/var/log/slurm/slurmd.log<br> #<br> #<br> # POWER SAVE SUPPORT FOR IDLE NODES (optional)<br>+SuspendProgram=/opt/slurm/poweroff<br>+ResumeProgram=/opt/slurm/poweron<br>+SuspendTimeout=120<br>+ResumeTimeout=240<br> #ResumeRate=<br>+SuspendExcNodes=node[13-32]:2<br>+SuspendExcStates=down,drain,fail,maint,not_responding,reserved<br>+BatchStartTimeout=60<br>+ReconfigFlags=KeepPowerSaveSettings # not sure if needed: preserve current status when running "scontrol reconfig"<br></font><div><font face="monospace">-PartitionName=compute512 Default=False Nodes=node[13-32] State=UP DefMemPerCPU=9196<br></font></div><font face="monospace">+PartitionName=compute512 Default=False Nodes=node[13-32] State=UP DefMemPerCPU=9196 SuspendTime=600<br></font></div><div><br></div><div>so probably that's not solved? Anyway, that's a nuisance, not a deal breaker</div><div><br></div><div>3) The whole thing does not appear to be working as I intended. My understanding of the "exclude node" above should have meant that slurm should never attempt to shut off more than all idle nodes in that partition minus 2. Instead it shut them off all of them, and then tried to turn them back on:</div><div><br></div><div><font face="monospace">$ sinfo | grep 512<br>compute512     up   infinite      1 alloc# node15<br>compute512     up   infinite      2  idle# node[14,32]<br>compute512     up   infinite      3  down~ node[16-17,31]<br>compute512     up   infinite      1 drain~ node27<br>compute512     up   infinite     12  idle~ node[18-26,28-30]<br>compute512     up   infinite      1  alloc node13<br></font></div><div><br></div><div>But again this is a minor nuisance which I can live with (especially if it happens only when I "flip the switch"), and I'm mentioning only in case it's a symptom of something else I'm doing wrong. I did try to use both the <span style="font-family:monospace">SuspendExcNodes=node[13-32]:2 </span>syntax as it seem more reasonable to me (compared to the rest of the file, e.g. partitions definition) and the <span style="font-family:monospace">SuspendExcNodes=node[13\-32]:2 </span>as suggested in the slurm powersave documentation. Behavior, exactly identical</div><div><br></div><div>4) Most importantly from the output above you may have noticed two nodes (actually three by the time I ran the command below) that slurm deemed down</div><div><br></div><div><font face="monospace">$ sinfo -R<br>REASON               USER      TIMESTAMP           NODELIST<br>Not responding       root      2023-09-13T13:14:50 node31<br>reboot timed out     slurm     2023-10-04T14:51:28 node14<br>reboot timed out     slurm     2023-10-04T14:52:28 node15<br>reboot timed out     slurm     2023-10-04T14:49:58 node32<br>none                 Unknown   Unknown             node27</font><br></div><div><br></div><div>This can't be the case, the nodes are fine, and cannot have timed out while "rebooting", because for now my poweroff and poweron script are identical and literally a simple one-liner bash script doing almost nothing and the log file is populated correctly as I would expect </div><div><br></div><div><font face="monospace">echo "Pretending to $0 the following node(s): $1"  >> $log_file 2>&1</font><br></div><div><br></div><div>So I can confirm slurm invoked the script, but then waited for something (what? starting slurmd?) which failed to occur and marked the node down.  When I removed the suspend time from the partition to end the experiment, the other nodes went "magically" in production , without slurm calling my poweron script. Of course the nodes were never powered off, but slurm thought they were, so why it did not have the problem it id with the node which instead intentionally tried to power on?</div><div><br></div><div>Thanks for any light you can shed on these issues, particularly the last one!</div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div></div>