<div dir="ltr"><div>
That's not at all how I interpreted this man page description.  By "If 
the job can use more than..." I thought it was completely obvious 
(although perhaps wrong, if your interpretation is correct, but it never
 crossed my mind) that it referred to whether the
 _submitting user_ is OK with it using more than one partition. The 
partition where the user is forbidden (because of the partition's 
allowed account) should just be _not_ the earliest initiation (because 
it'll never initiate there), and therefore not run there,
 but still be able to run on the other partitions listed in the batch 
script. <br></div><div><br></div><div>> that's fair. I was considering this only given the fact that we know the user doesn't have access to a partition (this isn't the surprise here) and that slurm communicates that as the reason pretty clearly. I can see how if a user is submitting against multiple partitions they might hope that if a job couldn't run in a given partition, given the number of others provided, the scheduler might consider all of those *before* dying outright at the first rejection. <br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Sep 21, 2023 at 10:28 AM Bernstein, Noam CIV USN NRL (6393) Washington DC (USA) <<a href="mailto:noam.bernstein@nrl.navy.mil">noam.bernstein@nrl.navy.mil</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">



<div style="overflow-wrap: break-word;">
<div>
<blockquote type="cite">
<div>On Sep 21, 2023, at 9:46 AM, David <<a href="mailto:drhey@umich.edu" target="_blank">drhey@umich.edu</a>> wrote:</div>
<br>
<div>
<div dir="ltr">
<div>Slurm is working as it should. From your own examples you proved that; by not submitting to b4 the job works. However, looking at man sbatch:<br>
</div>
<div><br>
</div>
<div>       -p, --partition=<partition_names><br>
              Request  a  specific partition for the resource allocation.  If not specified, the default behavior is to allow the slurm controller to select<br>
              the default partition as designated by the system administrator. If the job can use more than one partition, specify their names  in  a  comma<br>
              separate  list and the one offering earliest initiation will be used with no regard given to the partition name ordering (although higher pri‐<br>
              ority partitions will be considered first).  When the job is initiated, the name of the partition used will be placed first in the job  record<br>
              partition string.</div>
<div><br>
</div>
<div>In your example, the job can NOT use more than one partition (given the restrictions defined on the partition itself precluding certain accounts from using it). This, to me, seems either like a user education issue (i.e. don't have them submit
 to every partition), or you can try the job submit lua route - or perhaps the hidden partition route (which I've not tested).<br>
</div>
</div>
</div>
</blockquote>
<div><br>
</div>
That's not at all how I interpreted this man page description.  By "If the job can use more than..." I thought it was completely obvious (although perhaps wrong, if your interpretation is correct, but it never crossed my mind) that it referred to whether the
 _submitting user_ is OK with it using more than one partition. The partition where the user is forbidden (because of the partition's allowed account) should just be _not_ the earliest initiation (because it'll never initiate there), and therefore not run there,
 but still be able to run on the other partitions listed in the batch script. </div>
<div><br>
</div>
<div>I think it's completely counter-intuitive that submitting saying it's OK to run on one of a few partitions, and one partition happening to be forbidden to the submitting user, means that it won't run at all.  What if you list multiple partitions, and increase
 the number of nodes so that there aren't enough in one of the partitions, but not realize this problem?  Would you expect that to prevent the job from ever running on any partition?</div>
<div><br>
</div>
<div><span style="white-space:pre-wrap"></span>Noam </div>

</div>

</blockquote></div><br clear="all"><br><span class="gmail_signature_prefix">-- </span><br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr">David Rhey<br>---------------</div><div dir="ltr"><span style="font-size:12.8px">Advanced Research Computing<br></span></div><div dir="ltr"><span style="font-size:12.8px">University of Michigan</span></div></div></div></div></div>