<div dir="ltr"><div class="gmail_default" style="font-family:monospace">I'm not sure there's enough information in your message- Slurm version and configs are often necessary to make a more confident diagnosis.  However, the behaviour you are looking for (lower priority jobs skipping the line) is called "backfill".  There's docs here: <a href="https://slurm.schedmd.com/sched_config.html#backfill">https://slurm.schedmd.com/sched_config.html#backfill</a></div><div class="gmail_default" style="font-family:monospace"><br></div><div class="gmail_default" style="font-family:monospace">It should be loaded and active by default which is why I'm not super confident here.  There may also be something else going on with the node configuration as it looks like 1596 would maybe need the same node?  Maybe there's not enough CPU or memory to accommodate both jobs (1596 and 1739)?</div><div class="gmail_default" style="font-family:monospace"><br></div><div class="gmail_default" style="font-family:monospace">HTH</div><div class="gmail_default" style="font-family:monospace"> - Michael</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Aug 2, 2023 at 5:13 AM Cumer Cristiano <<a href="mailto:CristianoMaria.Cumer@unibz.it">CristianoMaria.Cumer@unibz.it</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class="msg-8822239974845864476">




<div dir="ltr">
<div style="font-family:Aptos,Aptos_EmbeddedFont,Aptos_MSFontService,Calibri,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
</div>
<p style="text-decoration:none;border:0px solid rgb(217,217,227);box-sizing:border-box;margin:0px 0px 1.25em;font-family:Söhne,ui-sans-serif,system-ui,-apple-system,"Segoe UI",Roboto,Ubuntu,Cantarell,"Noto Sans",sans-serif,"Helvetica Neue",Arial,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol","Noto Color Emoji";color:rgb(55,65,81)">
Hello,</p>
<p style="text-decoration:none;border:0px solid rgb(217,217,227);box-sizing:border-box;margin:1.25em 0px;font-family:Söhne,ui-sans-serif,system-ui,-apple-system,"Segoe UI",Roboto,Ubuntu,Cantarell,"Noto Sans",sans-serif,"Helvetica Neue",Arial,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol","Noto Color Emoji";color:rgb(55,65,81)">
I'm quite a newbie regarding Slurm. I recently created a small Slurm instance to manage our GPU resources. I have this situation:</p>
<div style="font-family:Aptos,Aptos_EmbeddedFont,Aptos_MSFontService,Calibri,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Aptos,Aptos_EmbeddedFont,Aptos_MSFontService,Calibri,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<span style="font-family:Consolas,Courier,monospace"> JOBID Â  Â  Â  Â STATE Â  Â  Â  Â  TIME Â  ACCOUNT Â  Â PARTITION Â  Â PRIORITY Â  Â  Â  Â  Â  Â  Â REASON CPU MIN_MEM Â  Â  Â  Â  Â  Â  Â TRES_PER_NODE</span>
<div><span style="font-family:Consolas,Courier,monospace">  Â  1739 Â  Â PENDING Â  Â  Â  Â  0:00 Â standard Â  Â  Â gpu-low Â  Â  Â  Â  Â  5 Â  Â  Â  Â  Â  Â Priority Â  1 Â  Â  80G Â  Â gres:gpu:a100_1g.10gb:1</span></div>
<div><span style="font-family:Consolas,Courier,monospace">  Â  1738 Â  Â PENDING Â  Â  Â  Â  0:00 Â standard Â  Â  Â gpu-low Â  Â  Â  Â  Â  5 Â  Â  Â  Â  Â  Â Priority Â  1 Â  Â  80G Â gres:gpu:a100-sxm4-80gb:1</span></div>
<div><span style="font-family:Consolas,Courier,monospace">  Â  1737 Â  Â PENDING Â  Â  Â  Â  0:00 Â standard Â  Â  Â gpu-low Â  Â  Â  Â  Â  5 Â  Â  Â  Â  Â  Â Priority Â  1 Â  Â  80G Â gres:gpu:a100-sxm4-80gb:1</span></div>
<div><span style="font-family:Consolas,Courier,monospace">  Â  1736 Â  Â PENDING Â  Â  Â  Â  0:00 Â standard Â  Â  Â gpu-low Â  Â  Â  Â  Â  5 Â  Â  Â  Â  Â  Resources Â  1 Â  Â  80G Â gres:gpu:a100-sxm4-80gb:1</span></div>
<div><span style="font-family:Consolas,Courier,monospace">  Â  1740 Â  Â PENDING Â  Â  Â  Â  0:00 Â standard Â  Â  Â gpu-low Â  Â  Â  Â  Â  1 Â  Â  Â  Â  Â  Â Priority Â  1 Â  Â  Â 8G Â  Â  Â gres:gpu:a100_3g.39gb</span></div>
<div><span style="font-family:Consolas,Courier,monospace">  Â  1735 Â  Â PENDING Â  Â  Â  Â  0:00 Â standard Â  Â  Â gpu-low Â  Â  Â  Â  Â  1 Â  Â  Â  Â  Â  Â Priority Â  8 Â  Â  64G Â gres:gpu:a100-sxm4-80gb:1</span></div>
<div><span style="font-family:Consolas,Courier,monospace">  Â  1596 Â  Â RUNNING Â  1-13:26:45 Â standard Â  Â  Â gpu-low Â  Â  Â  Â  Â  3 Â  Â  Â  Â  Â  Â  Â  Â None Â  2 Â  Â  64G Â  Â gres:gpu:a100_1g.10gb:1</span></div>
<div><span style="font-family:Consolas,Courier,monospace">  Â  1653 Â  Â RUNNING Â  Â  21:09:52 Â standard Â  Â  Â gpu-low Â  Â  Â  Â  Â  2 Â  Â  Â  Â  Â  Â  Â  Â None Â  1 Â  Â  16G Â  Â  Â  Â  Â  Â  Â  Â  gres:gpu:1</span></div>
<div><span style="font-family:Consolas,Courier,monospace">  Â  1734 Â  Â RUNNING Â  Â  Â  Â 59:52 Â standard Â  Â  Â gpu-low Â  Â  Â  Â  Â  1 Â  Â  Â  Â  Â  Â  Â  Â None Â  8 Â  Â  64G Â gres:gpu:a100-sxm4-80gb:1</span></div>
<div><span style="font-family:Consolas,Courier,monospace">  Â  1733 Â  Â RUNNING Â  Â  Â 1:01:54 Â standard Â  Â  Â gpu-low Â  Â  Â  Â  Â  1 Â  Â  Â  Â  Â  Â  Â  Â None Â  8 Â  Â  64G Â gres:gpu:a100-sxm4-80gb:1</span></div>
<div><span style="font-family:Consolas,Courier,monospace">  Â  1732 Â  Â RUNNING Â  Â  Â 1:02:39 Â standard Â  Â  Â gpu-low Â  Â  Â  Â  Â  1 Â  Â  Â  Â  Â  Â  Â  Â None Â  8 Â  Â  40G Â gres:gpu:a100-sxm4-80gb:1</span></div>
<div><span style="font-family:Consolas,Courier,monospace">  Â  1731 Â  Â RUNNING Â  Â  Â 1:08:28 Â standard Â  Â  Â gpu-low Â  Â  Â  Â  Â  1 Â  Â  Â  Â  Â  Â  Â  Â None Â  8 Â  Â  40G Â gres:gpu:a100-sxm4-80gb:1</span></div>
<div><span style="font-family:Consolas,Courier,monospace">  Â  1718 Â  Â RUNNING Â  Â  10:16:40 Â standard Â  Â  Â gpu-low Â  Â  Â  Â  Â  1 Â  Â  Â  Â  Â  Â  Â  Â None Â  2 Â  Â  Â 8G Â  Â  Â  Â  Â  Â  Â gres:gpu:v100</span></div>
<div><span style="font-family:Consolas,Courier,monospace">  Â  1630 Â  Â RUNNING Â  1-00:21:21 Â standard Â  Â  Â gpu-low Â  Â  Â  Â  Â  1 Â  Â  Â  Â  Â  Â  Â  Â None Â  1 Â  Â  30G Â  Â  Â gres:gpu:a100_3g.39gb</span></div>
<span style="font-family:Consolas,Courier,monospace">  Â  1610 Â  Â RUNNING Â  1-09:53:23 Â standard Â  Â  Â gpu-low Â  Â  Â  Â  Â  1 Â  Â  Â  Â  Â  Â  Â  Â None Â  2 Â  Â  Â 8G Â  Â  Â  Â  Â  Â  Â gres:gpu:v100</span></div>
<div style="font-family:Aptos,Aptos_EmbeddedFont,Aptos_MSFontService,Calibri,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Aptos,Aptos_EmbeddedFont,Aptos_MSFontService,Calibri,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Aptos,Aptos_EmbeddedFont,Aptos_MSFontService,Calibri,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
</div>
<p style="text-decoration:none;border:0px solid rgb(217,217,227);box-sizing:border-box;margin:1.25em 0px;font-family:Söhne,ui-sans-serif,system-ui,-apple-system,"Segoe UI",Roboto,Ubuntu,Cantarell,"Noto Sans",sans-serif,"Helvetica Neue",Arial,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol","Noto Color Emoji";color:rgb(55,65,81)">
Job 1736 is in the PENDING state since there are no more available a100-sxm4-80gb GPUs. The job priority starts to rise with time (priority 5) as expected. Now another user submits job 1739 on a gres:gpu:a100_1g.10gb:1 that is available, but the job is not
 starting since its priority is 1. This is obviously not the desired outcome, and I believe I must change the scheduling strategy. Could someone with more experience than me give me some hints?</p>
<p style="text-decoration:none;border:0px solid rgb(217,217,227);box-sizing:border-box;margin:1.25em 0px 0px;font-family:Söhne,ui-sans-serif,system-ui,-apple-system,"Segoe UI",Roboto,Ubuntu,Cantarell,"Noto Sans",sans-serif,"Helvetica Neue",Arial,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol","Noto Color Emoji";color:rgb(55,65,81)">
Thanks, Cristiano</p>
<div style="font-family:Aptos,Aptos_EmbeddedFont,Aptos_MSFontService,Calibri,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
</div>
</div>

</div></blockquote></div>