<div dir="ltr">One thing you could consider doing is setting a higher weight on the the long nodes (cluster[37-100] in your example).  This would cause jobs submitted to the batch partition to attempt to schedule on low weight nodes first, then the higher weight nodes.  So "long" would only get used if a job requested long, or if the nodes exclusively devoted to batch were full.<br clear="all"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><font face="courier new, monospace" size="1">----</font></div><div><font face="arial, helvetica, sans-serif"><font size="2">Doug Jacobsen, Ph.D.</font><br></font></div><div><font face="arial, helvetica, sans-serif" size="1">NERSC Computer Systems Engineer</font></div><div><font face="arial, helvetica, sans-serif" size="1">Acting Group Lead, Computational Systems Group</font></div><div><font size="1"><font face="arial, helvetica, sans-serif"><a href="http://www.nersc.gov" target="_blank">National Energy Research Scientific Computing Center</a></font><br></font></div><div><font size="1"><a href="mailto:dmjacobsen@lbl.gov" style="font-family:arial,helvetica,sans-serif" target="_blank">dmjacobsen@lbl.gov</a><span style="font-family:arial,helvetica,sans-serif"></span></font><br></div><div><font size="1"><br></font></div><div><font size="1"><font face="courier new, monospace"><span style="color:rgb(136,136,136)">------------- __o</span><br style="color:rgb(136,136,136)"><span style="color:rgb(136,136,136)">---------- _ '\<,_</span><br style="color:rgb(136,136,136)"><span style="color:rgb(136,136,136)">----------(_)/  (_)__________________________</span></font><br></font></div><div style="font-family:arial;font-size:small"><br></div></div></div></div></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr">On Wed, Aug 8, 2018 at 3:32 PM Allan, Benjamin <<a href="mailto:baallan@sandia.gov">baallan@sandia.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">




<div dir="ltr" style="font-size:12pt;color:#000000;background-color:#ffffff;font-family:Calibri,Arial,Helvetica,sans-serif">
<p>I have an application group that would improve throughput if we could configure jobs to run two on a node (but starting/finishing at individual job times) packed by the scheduler rather than spread out and overlapped only when the partition is fully loaded
 with one job per node. The users' workflow is such that expecting individuals to do things like multiple srun inside the same batch script isn't going to work.<br>
</p>
<p><br>
</p>
<p>Currently the implementation of select/linear + OverSubscribe=force:2 first assigns out to all empty nodes round-robin, then starts doubling up.</p>
<p>Is there a script/plugin way to change this to first double up, then round robin the job assignment in the scheduler?</p>
<p><br>
</p>
<p>The use case in more detail:</p>
<p><br>
</p>
<p>PartitionName=batch   Nodes=cluster[17-100] State=UP RootOnly=NO Default=YES MaxTime=2880 MaxNodes=60  DefaultTime=5 QoS=batch</p>
<p>PartitionName=long  Nodes=cluster[37-100] State=UP RootOnly=NO Default=NO MaxTime=100000 MaxNodes=10  DefaultTime=5
</p>
<p><br>
</p>
<p>Users who want to run without manual restarts for a really long time can use partition 'long', but we don't want to round-robin fill the machine (note overlapping node set) with 'long' jobs before doubling the long jobs. The threading and memory behavior
 of the application (large serial sections) makes this a reasonable policy. </p>
<p><br>
</p>
<p>Making the partition node lists  non-overlapping leads to idleness in both batch and long.<br>
</p>
<p><br>
</p>
<p>What's the right path to achieve such a policy?<br>
</p>
<p>Ben<br>
</p>
</div>

</blockquote></div>