<div dir="ltr">Hi,<div><br></div><div>Jobs submitted with sbatch cannot run on multiple partitions. The job will be submitted to the partition where it can start first. (from sbatch reference)</div><div><br></div><div>Best,</div><div>Durai</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, Jan 23, 2021 at 6:50 AM Nizar Abed <<a href="mailto:nizar@huji.ac.il">nizar@huji.ac.il</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;">Hi list,<br><br>I’m trying to enforce limits based on associations, but behavior is not as expected.<br><br>In slurm.conf:<div>AccountingStorageEnforce=associations,limit,qos</div><div><br></div><div>Two partitions:</div><div>part1.q</div><div>part2.q</div><div><br></div><div>One user:</div><div>user1</div><div><br></div><div>One QOS:</div><div>qos1</div><span>MaxJobsPU is not set</span><div><span><br></span><span><br></span><div>I’d like to have an association for user 1 for each partition, with same qos</div><div><br></div><div><div><div><div style="margin:0px;font-stretch:normal;font-size:7px;line-height:normal;font-family:Monaco;color:rgb(12,255,0);background-color:rgba(255,255,255,0.68)"><span style="font-variant-ligatures:no-common-ligatures">      User   Def Acct     Admin    Cluster    Account  Partition     Share   Priority MaxJobs MaxNodes  MaxCPUs MaxSubmit     MaxWall  MaxCPUMins                  QOS   Def QOS </span></div><div style="margin:0px;font-stretch:normal;font-size:7px;line-height:normal;font-family:Monaco;color:rgb(12,255,0);background-color:rgba(255,255,255,0.68)"><span style="font-variant-ligatures:no-common-ligatures">---------- ---------- --------- ---------- ---------- ---------- --------- ---------- ------- -------- -------- --------- ----------- ----------- -------------------- --------- </span></div><div style="margin:0px;font-stretch:normal;font-size:7px;line-height:normal;font-family:Monaco;color:rgb(12,255,0);background-color:rgba(255,255,255,0.68)"><span style="font-variant-ligatures:no-common-ligatures">     user1  account1      None       cl1   account1       part1.q         1               3                                                                       qos1           </span></div><span><div style="margin:0px;font-stretch:normal;font-size:7px;line-height:normal;font-family:Monaco;color:rgb(12,255,0);background-color:rgba(255,255,255,0.68)"><span style="font-variant-ligatures:no-common-ligatures">     user1  account1      None       cl1   account1       part2.q         1               4                                                                       qos1           </span></div></span></div></div><span><div style="margin:0px;font-stretch:normal;font-size:7px;line-height:normal;font-family:Monaco;color:rgb(12,255,0);background-color:rgba(255,255,255,0.68)"><span style="font-variant-ligatures:no-common-ligatures"><br></span></div><div style="margin:0px;font-stretch:normal;font-size:7px;line-height:normal;font-family:Monaco;color:rgb(12,255,0);background-color:rgba(255,255,255,0.68)"><span style="font-variant-ligatures:no-common-ligatures"><br></span></div><div style="margin:0px;font-stretch:normal;font-size:7px;line-height:normal;font-family:Monaco;color:rgb(12,255,0);background-color:rgba(255,255,255,0.68)"><span style="font-variant-ligatures:no-common-ligatures"><br></span></div><div style="margin:0px;font-stretch:normal;font-size:7px;line-height:normal;font-family:Monaco;color:rgb(12,255,0);background-color:rgba(255,255,255,0.68)"><span style="font-variant-ligatures:no-common-ligatures"><br></span></div></span></div><div><br></div><div><br></div><div><br></div><div>User1 submit 6 jobs to part2.q:</div><div>4 start running</div><div>2 in pending(AssocMaxJobsLimit)</div><div><br></div><div><br></div><div>User1 submit 6 jobs to part1.q:</div><div><div style="color:rgb(0,0,0)">3 start running</div><div style="color:rgb(0,0,0)">3 in pending(AssocMaxJobsLimit)</div></div><div><br></div><div>This ok and expected behavior.</div><div><br></div><div>But when user1 submits 12 jobs like:</div><div><br></div><div>sbatch -p part1.q,part2.q slurm-job.sh </div><div><br></div><div>Only 3 jobs running on part1.q: association of part1.q</div><div>Other 9 jobs on <span style="color:rgb(0,0,0)">AssocMaxJobsLimit</span></div><div><span style="color:rgb(0,0,0)"><br></span></div><div><font color="#000000"><span>Why 4 jobs doesn’t start on part2.q?</span></font></div><div><br></div><div><font color="#000000"><span>Worst case(listing part2.q before part1.q):</span></font></div><div><span style="color:rgb(0,0,0)">sbatch -p part2.q,part1.q </span><span style="color:rgb(0,0,0)">slurm-job.sh </span></div><div><span style="color:rgb(0,0,0)">4(!) jobs running on part1.q</span></div><div><span style="color:rgb(0,0,0)"><br></span></div><div><span style="color:rgb(0,0,0)"><br></span></div><div><span style="color:rgb(0,0,0)">Is it possible to allow user to submit to multiple partitions, and slurm picks up correct association for each partition?</span></div><div><font color="#000000">What I’m missing here?</font></div><div><font color="#000000"><br></font></div><div><font color="#000000"><br></font></div><div><span style="color:rgb(0,0,0)">Thanks,</span></div><div><span style="color:rgb(0,0,0)">Nizar</span></div><div><span style="color:rgb(0,0,0)"><br></span></div><div><br></div><div><br></div><div><br></div></div></div></blockquote></div>