<div dir="ltr">Hi,<div><br></div><div>Thanks for your help.<br><div><br></div><div>Either setting qos or setting priority doesn't work for me.  However I have found the cause if not the reason.</div><div><br></div><div>Using a Priority setting on the partition called "Priority" in slurm.conf seems to force all jobs waiting on this queue to run first regardless of any qos set on a job.  Priority is not a limit, but I think this is a bit inconsistent with the limit hierarchy we see elsewhere and possibly even a bug.</div><div><br></div><div><pre class="gmail-bz_comment_text" style="font-size:medium;white-space:pre-wrap;width:50em;color:rgb(0,0,0)">1. Partition QOS limit
<b><u>2. Job QOS limit</u></b>
3. User association
4. Account association(s), ascending the hierarchy
5. Root/Cluster association
<b><u>6. Partition limit</u></b>
7. None</pre></div><div>So for multiple partitions with differing priorities, I can get the same effect by moving the priority into a qos, applying a qos on the partition, and then taking care to set OverPartQOS flag on the "boost" qos.</div><div><br></div><div>Does anyone have a feeling for why setting a high Priority on a partition makes jobs run in that partition first regardless that a job in a different Partition may have a much higher overall priority?</div><div><br></div><div><br></div><div>Sean</div><div><br></div><div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, 11 Mar 2019 at 17:00, Sean Brisbane <<a href="mailto:sean.brisbane@securelinx.com">sean.brisbane@securelinx.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Hi,<div><br></div><div>I'm looking to have a way an administrator can boost any job to be next to run when resources become available.  What is the best practice way to do this? Happy to try something new :-D</div><div><br></div><div>The way I thought to do this was to have a qos with a large priority and manually assign this to the job.  Job 469 is the job in this example I am trying to elevate to be next in queue.</div><div><br></div><div>scontrol update jobid=469 qos=boost<br></div><div><br></div><div>sprio shows that this job is the highest priority by quite some way, however, job nbumber 492 will be next to run</div><div><br></div><div>squeue (qxluding runnign jobs)</div><div><div>             JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)</div><div>               469 Backgroun sleeping   centos PD       0:00      1 (Resources)</div><div>               492  Priority sleepy.s superuse PD       0:00      1 (Resources)</div><div>               448 Backgroun sleepy.s groupboo PD       0:00      1 (Resources)</div><div>               478 Backgroun sleepy.s groupboo PD       0:00      1 (Resources)</div><div>               479 Backgroun sleepy.s groupboo PD       0:00      1 (Resources)</div><div>               480 Backgroun sleepy.s groupboo PD       0:00      1 (Resources)</div><div>               481 Backgroun sleepy.s groupboo PD       0:00      1 (Resources)</div><div>               482 Backgroun sleepy.s groupboo PD       0:00      1 (Resources)</div><div>               483 Backgroun sleepy.s groupboo PD       0:00      1 (Resources)</div><div>               484 Backgroun sleepy.s groupboo PD       0:00      1 (Resources)</div><div>               449 Backgroun sleepy.s superuse PD       0:00      1 (Resources)</div><div>               450 Backgroun sleepy.s superuse PD       0:00      1 (Resources)</div><div>               465 Backgroun sleeping   centos PD       0:00      1 (Resources)</div><div>               466 Backgroun sleeping   centos PD       0:00      1 (Resources)</div><div>               467 Backgroun sleeping   centos PD       0:00      1 (Resources)</div></div><div><br></div><div><br></div><div><div>[root@master yp]# sprio</div><div>          JOBID PARTITION   PRIORITY        AGE  FAIRSHARE    JOBSIZE  PARTITION        QOS</div><div>            448 Backgroun      13667         58        484       3125      10000          0</div><div>            449 Backgroun      13205         58         23       3125      10000          0</div><div>            450 Backgroun      13205         58         23       3125      10000          0</div><div>            465 Backgroun      13157         32          0       3125      10000          0</div><div>            466 Backgroun      13157         32          0       3125      10000          0</div><div>            467 Backgroun      13157         32          0       3125      10000          0</div><div>            469 Backgroun   10013157         32          0       3125      10000   10000000</div><div>            478 Backgroun      13640         32        484       3125      10000          0</div><div>            479 Backgroun      13640         32        484       3125      10000          0</div><div>            480 Backgroun      13640         32        484       3125      10000          0</div><div>            481 Backgroun      13610         32        454       3125      10000          0</div><div>            482 Backgroun      13610         32        454       3125      10000          0</div><div>            483 Backgroun      13610         32        454       3125      10000          0</div><div>            484 Backgroun      13610         32        454       3125      10000          0</div><div>            492 Priority     1003158         11         23       3125    1000000          0</div></div><div><br></div><div><br></div><div>I'm trying to troubleshoot why the highest priority job is not next to run, jobs in the partition called "Priority" seem to run first.</div><div><br></div><div> The job 469  has no qos, partition, user accounts or group limits on the number of cpus,jobs,nodes etc.  I've set this test cluster up from scratch to be sure!</div><div><br></div><div><div>[root@master yp]# scontrol show job 469</div><div>JobId=469 JobName=sleeping.sh</div><div>   UserId=centos(1000) GroupId=centos(1000) MCS_label=N/A</div><div>   Priority=10013161 Nice=0 Account=default QOS=boost</div><div>   JobState=PENDING Reason=Resources Dependency=(null)</div><div>   Requeue=1 Restarts=0 BatchFlag=1 Reboot=0 ExitCode=0:0</div><div>   RunTime=00:00:00 TimeLimit=UNLIMITED TimeMin=N/A</div><div>   SubmitTime=2019-03-11T16:01:20 EligibleTime=2019-03-11T16:01:20</div><div>   StartTime=2020-03-10T15:23:40 EndTime=Unknown Deadline=N/A</div><div>   PreemptTime=None SuspendTime=None SecsPreSuspend=0</div><div>   LastSchedEval=2019-03-11T16:54:44</div><div>   Partition=Background AllocNode:Sid=master:1322</div><div>   ReqNodeList=(null) ExcNodeList=(null)</div><div>   NodeList=(null)</div><div>   NumNodes=1 NumCPUs=1 NumTasks=1 CPUs/Task=1 ReqB:S:C:T=0:0:*:*</div><div>   TRES=cpu=1,node=1</div><div>   Socks/Node=* NtasksPerN:B:S:C=0:0:*:* CoreSpec=*</div><div>   MinCPUsNode=1 MinMemoryNode=0 MinTmpDiskNode=0</div><div>   Features=(null) DelayBoot=00:00:00</div><div>   Gres=(null) Reservation=(null)</div><div>   OverSubscribe=OK Contiguous=0 Licenses=(null) Network=(null)</div><div>   Command=/home/centos/sleeping.sh</div><div>   WorkDir=/home/centos</div><div>   StdErr=/home/centos/sleeping.sh.e469</div><div>   StdIn=/dev/null</div><div>   StdOut=/home/centos/sleeping.sh.o469</div><div>   Power=</div></div><div><br></div><div>The partition called "Priority" has a priority boost assigned through qos.</div><div><br></div><div><div>PartitionName=Priority Nodes=compute[01-02]  Default=NO MaxTime=INFINITE State=UP Priority=1000 QOS=Priority </div><div>PartitionName=Background Nodes=compute[01-02]   Default=YES MaxTime=INFINITE State=UP Priority=10</div></div><div><br></div><div>Any Ideas would be much appreciated.</div><div><br></div><div>Sean</div><div><br></div><div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail-m_-7492636725729290850gmail_signature"><div dir="ltr"><p>-- </p>

<p>Sean Brisbane | Linux Systems Specialist<br><br></p>

<p><img src="http://www.securelinx.com/static/mail-logo2.png"></p>

<p><span style="font-size:7.5pt;font-family:Arial,sans-serif;background-image:initial;background-position:initial;background-repeat:initial">Securelinx Ltd., Pottery Road, Dun Laoghaire,
Co. Dublin.</span><span style="font-size:7.5pt;font-family:Arial,sans-serif"><br>
<span style="background-image:initial;background-position:initial;background-repeat:initial">Registered in Ireland No. 357396</span><br>
</span><span style="font-size:7.5pt"><a href="http://www.securelinx.com/" target="_blank"><span style="font-family:Arial,sans-serif;background-image:initial;background-position:initial;background-repeat:initial">www.securelinx.com</span></a></span><span style="font-size:7.5pt;font-family:Arial,sans-serif;background-image:initial;background-position:initial;background-repeat:initial"> <</span><span style="font-size:7.5pt"><a href="http://www.securelinx.com/" target="_blank"><span style="font-family:Arial,sans-serif;background-image:initial;background-position:initial;background-repeat:initial">http://www.securelinx.com/</span></a></span><span style="font-size:7.5pt;font-family:Arial,sans-serif;background-image:initial;background-position:initial;background-repeat:initial">> - Linux Leaders in Ireland</span></p></div></div></div></div></div></div></div></div></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><p>-- </p>

<p>Sean Brisbane | Linux Systems Specialist<br>
Mobile: +353(0)87 627 3024 | <span style="font-size:10pt;font-family:Arial,sans-serif;background-image:initial;background-position:initial;background-repeat:initial">Office: </span>+353 1 5065 615 (ext 610)</p>

<p><img src="http://www.securelinx.com/static/mail-logo2.png"></p>

<p><span style="font-size:7.5pt;font-family:Arial,sans-serif;background-image:initial;background-position:initial;background-repeat:initial">Securelinx Ltd., Pottery Road, Dun Laoghaire,
Co. Dublin.</span><span style="font-size:7.5pt;font-family:Arial,sans-serif"><br>
<span style="background-image:initial;background-position:initial;background-repeat:initial">Registered in Ireland No. 357396</span><br>
</span><span style="font-size:7.5pt"><a href="http://www.securelinx.com/" target="_blank"><span style="font-family:Arial,sans-serif;background-image:initial;background-position:initial;background-repeat:initial">www.securelinx.com</span></a></span><span style="font-size:7.5pt;font-family:Arial,sans-serif;background-image:initial;background-position:initial;background-repeat:initial"> <</span><span style="font-size:7.5pt"><a href="http://www.securelinx.com/" target="_blank"><span style="font-family:Arial,sans-serif;background-image:initial;background-position:initial;background-repeat:initial">http://www.securelinx.com/</span></a></span><span style="font-size:7.5pt;font-family:Arial,sans-serif;background-image:initial;background-position:initial;background-repeat:initial">> - Linux Leaders in Ireland</span></p></div></div>