<div dir="ltr">Hello all,<div><br></div><div>I haven't found any guidance that seems to be the current "better practice," but this does seem to be a common use case. I imagine there are multiple ways to accomplish this goal. For example, you could assuredly do it with QoS, but you can likely also accomplish this with some other weighting scheme based on, e.g., account. At my last position, I accomplished this by having a partition containing the purchased nodes that permitted a specific account only, which also had a PriorityTier setting, and ensuring the cluster was configured to preempt based on a partition's priority setting. So, even if the same nodes were in a different partition, if a user in the account requested resources, it would preempt (if needed) jobs from users not in that account. These are sample configuration lines to illustrate (obviously simplified):</div><div><br></div><div>PreemptType=preempt/partition_prio</div><div>PreemptMode=REQUEUE</div><div><br></div><div>PartitionName=node PriorityTier=50 Nodes=node[01-06]</div><div>PartitionName=smithlab AllowAccounts=smithlab PriorityTier=100 Nodes=node06</div><div><br></div><div>I never heard from a user that this failed to preempt when necessary, so I presume it works as advertised (in this case, if a user from smithlab ran a job on node06, it would preempt non-smithlab users if the requested resources were unavailable). Note that the user needs to specify the smithlab account in, e.g., the batch submission file or on the command line, especially if they have a non-smithlab account with the same username.</div><div><br></div><div>If someone can recommend why this approach isn't advisable, or if there is a preferred approach, I would welcome feedback.</div><div><br></div><div>Warmest regards,</div><div>Jason</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Feb 27, 2023 at 2:09 PM Styrk, Daryl <<a href="mailto:Daryl.Styrk@ucsf.edu">Daryl.Styrk@ucsf.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class="msg1295198377512720312">





<div lang="EN-US" style="overflow-wrap: break-word;">
<div class="m_3033576015793523111WordSection1">
<p class="MsoNormal"><span style="font-size:11pt">Marko,<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt">I’m in a similar situation. We have many Accounts with dedicated hardware and recently ran into a situation where a user with dedicated submitted hundreds of jobs and they overflowed into the community hardware
 which caused an unexpected backlog. I believe QoS will help us with that as well. I’ve been researching and reading about best practices.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt">Regards,<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt">Daryl<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt"><u></u> <u></u></span></p>
<div style="border-right:none;border-bottom:none;border-left:none;border-top:1pt solid rgb(181,196,223);padding:3pt 0in 0in">
<p class="MsoNormal" style="margin-bottom:12pt"><b><span style="font-size:12pt;color:black">From:
</span></b><span style="font-size:12pt;color:black">slurm-users <<a href="mailto:slurm-users-bounces@lists.schedmd.com" target="_blank">slurm-users-bounces@lists.schedmd.com</a>> on behalf of Marko Markoc <<a href="mailto:mmarkoc@pdx.edu" target="_blank">mmarkoc@pdx.edu</a>><br>
<b>Date: </b>Wednesday, February 22, 2023 at 1:56 PM<br>
<b>To: </b><a href="mailto:slurm-users@lists.schedmd.com" target="_blank">slurm-users@lists.schedmd.com</a> <<a href="mailto:slurm-users@lists.schedmd.com" target="_blank">slurm-users@lists.schedmd.com</a>><br>
<b>Subject: </b>[slurm-users] priority access and QoS<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:1pt;color:white">Hi All, Currently in our environment we only have default one "free" tier of access to our resources and we are looking to add additional higher priority tier access.
 That means that the jobs from the users that "purchased" <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:1pt;color:white">ZjQcmQRYFpfptBannerStart<u></u><u></u></span></p>
</div>
<table border="0" cellspacing="0" cellpadding="0" width="100%" style="width:100%;border-radius:4px">
<tbody>
<tr>
<td style="padding:12pt 0in">
<table border="1" cellspacing="0" cellpadding="0" width="100%" style="width:100%;background:rgb(208,216,220);border-right:none;border-bottom:none;border-left:none;border-top:3pt solid rgb(144,164,174)">
<tbody>
<tr>
<td valign="top" style="border:none;padding:0in 7.5pt 3.75pt 4.5pt">
<table border="0" cellspacing="0" cellpadding="0" align="left">
<tbody>
<tr>
<td style="padding:3pt 6pt">
<p class="MsoNormal"><b><span style="font-size:10.5pt;font-family:Arial,sans-serif;color:black">This Message Is From an External Sender
<u></u><u></u></span></b></p>
</td>
</tr>
<tr>
<td style="padding:3pt 6pt">
<p class="MsoNormal"><span style="font-size:9pt;font-family:Arial,sans-serif;color:black">This message came from outside your organization.
<u></u><u></u></span></p>
</td>
</tr>
</tbody>
</table>
</td>
</tr>
</tbody>
</table>
</td>
</tr>
</tbody>
</table>
<div>
<p class="MsoNormal"><span style="font-size:1pt;color:white">ZjQcmQRYFpfptBannerEnd<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt">Hi All,<u></u><u></u></span></p>
<div>
<p class="MsoNormal"><span style="font-size:11pt"><u></u> <u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt">Currently in our environment we only have default one "free" tier of access to our resources and we are looking to add additional higher priority tier access. That means that the jobs from the users that "purchased"
 a certain amount of service units will preempt jobs of the users in the free tier. I was thinking of using slurm QoS to achieve this by adding users/groups via sacctmgr to this newly created QoS tier but I wanted to check with all of you if there is a better
 way to accomplish this through slurm. Also, could GrpTRESMins be used to automatically keep track of SU usage by a certain user or group or is there some better usage tracking mechanism ?  <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt"><u></u> <u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt">Thank You all,<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11pt">Marko<u></u><u></u></span></p>
</div>
</div>
</div>
</div>

</div></blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div style="color:rgb(0,0,0);font-family:Helvetica;font-size:14px;margin:0px"><span style="color:rgb(130,36,51)"><font face="Century Gothic"><b>Jason L. Simms, Ph.D., M.P.H.</b></font></span></div><font face="Century Gothic">Manager of Research Computing</font><br></div><div dir="ltr"><div style="color:rgb(0,0,0);font-family:Helvetica;font-size:14px;margin:0px"><font face="Century Gothic"><span style="color:gray">Swarthmore College<br>Information Technology Services</span></font></div><div style="color:rgb(0,0,0);font-family:Helvetica;font-size:14px;margin:0px"><font face="Century Gothic"><span style="color:gray">(610) 328-8102<br></span></font></div><div style="color:rgb(0,0,0);font-family:Helvetica;font-size:14px;margin:0px"><font face="Century Gothic">Schedule a meeting: </font><span style="font-family:Arial,Helvetica,sans-serif;font-size:small;color:rgb(32,33,36)"><a href="https://calendly.com/jlsimms" target="_blank">https://calendly.com/jlsimms</a></span><br></div></div></div></div></div></div>