<div dir="ltr">Hi Brian,<div><br></div><div>Thanks for your answer and sorry for my late reply.</div><div>Yes, the cluster is not large, perhaps medium sized? What is considered for Slurm a small/medium/large cluster?</div><div><br></div><div>I think I would go for the remote license method, to avoid what you mentioned about keeping the slurm.conf consistent on all nodes. It works fine if all nodes are up, but what when nodes are down and come back up with an outdated slurm.conf? Syncing on boot the current slurm.conf could perhaps be an option.</div><div><br></div><div>This should work as it does now with local licenses: jobs get submitted and stay pending until the needed licenses become available. No need for license tracking.</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">The reservation method can cause an sbatch command to be rejected, if that is what you are looking for.</blockquote><div>How so? If all licenses on the reservation are in use, will then a new job requesting one of these licenses get rejected and not stay pending in the queue?</div><div>Then clearly no, that is not what we are looking for! </div><div><br></div><div>Many thanks,</div><div>Richard</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, 30 Nov 2022 at 12:46, Brian Andrus <<a href="mailto:toomuchit@gmail.com" target="_blank">toomuchit@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Richard,<br>
<br>
If you don't have a large cluster, doing the local license method is <br>
actually feasible. The biggest issue is the efforts to ensure all the <br>
nodes have the same slurm.conf and then the traffic when they are all <br>
re-queried to report their status on a reconfigure.<br>
<br>
That said, I have had good experience with the remote license method. <br>
the info is kept as part of the slurmdbd, so you will need that setup <br>
for it to work.<br>
<br>
I imagine one of the factors may be the purpose of the license tracking. <br>
Is it to cause jobs to queue if there are no licenses available or not <br>
be allowed to submit at all? The reservation method can cause an sbatch <br>
command to be rejected, if that is what you are looking for.<br>
<br>
Brian Andrus<br>
<br>
On 11/30/2022 6:29 AM, Richard Ems wrote:<br>
> Hi all,<br>
><br>
> I have to change our set up to be able to update the total number of <br>
> available licenses due to users checking out licenses interactively.<br>
> We now use Local Licenses, and could just regularly update slurm.conf <br>
> and reconfigure, but I don't think that is the best solution.<br>
><br>
> I see there are at least two other options:<br>
> 1. Remote Licenses as per <a href="https://slurm.schedmd.com/licenses.html" rel="noreferrer" target="_blank">https://slurm.schedmd.com/licenses.html</a><br>
> 2. The "older" method of creating an infinite license only reservation <br>
> and letting jobs request license from there<br>
><br>
> What are the pros and cons of both methods?<br>
> What would you suggest based on your experience?<br>
><br>
> Many thanks for any input,<br>
> Richard<br>
<br>
</blockquote></div>