<div dir="ltr"><div>Dear list,</div><div><br></div><div>Apologies. It seems the nodes I *thought* I had updated to SLURM 21.08 were not yet updated when I deployed the new configurations. Ouch! Shortly after the cancelling and rescheduling mishap I updated the nodes properly and now they recognize the new AccountingStoreFlags=job_comment configuration option. Sorry for the confusion. A painful lesson to learn!</div><div><br></div><div>Regards,<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Nov 28, 2021 at 2:32 PM Alan Orth <<a href="mailto:alan.orth@gmail.com">alan.orth@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Dear list,</div><div><br></div><div>I just upgraded my cluster from SLURM 20.11.8 to 21.08.4. Before the upgrade I updated my configuration based on this comment from the release notes¹:</div><div><br></div><div>> -- Removed AccountingStoreJobComment option.  Please update your config to use<br>>   AccountingStoreFlags=job_comment instead.</div><div><br></div><div>After updating the slurmd.conf I upgraded SLURM, but got this error:</div><div><br></div><div>> slurmd[21264]: error: _parse_next_key: Parsing error at unrecognized key: AccountingStoreFlags<br>> slurmd[21264]: error: Parse error in file /etc/slurm/slurm.conf line 119: "AccountingStoreFlags=job_comment"<br>> slurmd[21264]: fatal: Unable to process configuration file</div><div><br></div><div>Then slurmctld drained all my nodes and all my jobs got cancelled. After I removed the invalid AccountingStoreFlags option and restarted the SLURM daemons on all nodes the jobs got rescheduled, but now all nodes are drained due to "Duplicate jobid". *sigh*.</div><div><br></div><div>What happened here? Is this a bug? This is the messiest SLURM upgrade I've had in years... thank you for any advice,</div><div><br></div><div>¹ <a href="https://github.com/SchedMD/slurm/blob/slurm-21.08/RELEASE_NOTES#L135" target="_blank">https://github.com/SchedMD/slurm/blob/slurm-21.08/RELEASE_NOTES#L135</a></div><br>-- <br><div dir="ltr"><div dir="ltr"><div>Alan Orth<br><a href="mailto:alan.orth@gmail.com" target="_blank">alan.orth@gmail.com</a><br><a href="https://picturingjordan.com" target="_blank">https://picturingjordan.com</a><br><a href="https://englishbulgaria.net" target="_blank">https://englishbulgaria.net</a><br><a href="https://mjanja.ch" target="_blank">https://mjanja.ch</a></div></div></div></div>
</blockquote></div><br clear="all"><br>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div>Alan Orth<br><a href="mailto:alan.orth@gmail.com" target="_blank">alan.orth@gmail.com</a><br><a href="https://picturingjordan.com" target="_blank">https://picturingjordan.com</a><br><a href="https://englishbulgaria.net" target="_blank">https://englishbulgaria.net</a><br><a href="https://mjanja.ch" target="_blank">https://mjanja.ch</a></div></div></div>