<div dir="ltr">I did some tests and this doesn't work with MPI, in the following sense: the way we were running parallel jobs was by invoking `sbatch -n4 script.sh` where the script.sh would contain an `mpirun` command without specifying the number of processors. It would then simply claim the ones assigned to it by sbatch. With one CPU as per the slurm.conf, mpirun would only ever get one processor, hence no parallelization.<div><br></div><div>The other test I did was to try OverSubscribe=Exclusive on the partition, but the slurmctld failed to start so there is some combination of config options that it is unhappy about.</div><div><br></div><div>The workable option I can think of right now is to have everyone run their jobs with --exclusive as an extra argument.</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Apr 30, 2020 at 12:22 PM Rutger Vos <<a href="mailto:rutger.vos@naturalis.nl">rutger.vos@naturalis.nl</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">This seems like the easiest solution, but how would that interact with MPI jobs? Apologies if these are really basic questions, and thank you very much for thinking along.<div><br></div><div>Rutger</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Apr 29, 2020 at 10:25 PM Doug Meyer <<a href="mailto:dameyer@raytheon.com" target="_blank">dameyer@raytheon.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<div lang="EN-US">
<div>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">Change node definition in slurm.conf for that one node to 1 CPU.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal" style="line-height:110%"><b><span style="font-size:10pt;line-height:110%;font-family:Arial,sans-serif;color:black">Doug Meyer</span></b><u><span style="font-size:8pt;line-height:110%;font-family:Arial,sans-serif;color:rgb(206,17,38)">
</span></u><u><span style="font-size:8pt;line-height:110%;font-family:Arial,sans-serif;color:black"><u></u><u></u></span></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><b><span style="font-size:11pt;font-family:Calibri,sans-serif">From:</span></b><span style="font-size:11pt;font-family:Calibri,sans-serif"> slurm-users <<a href="mailto:slurm-users-bounces@lists.schedmd.com" target="_blank">slurm-users-bounces@lists.schedmd.com</a>>
<b>On Behalf Of </b>Rutger Vos<br>
<b>Sent:</b> Wednesday, April 29, 2020 1:20 PM<br>
<b>To:</b> Slurm User Community List <<a href="mailto:slurm-users@lists.schedmd.com" target="_blank">slurm-users@lists.schedmd.com</a>><br>
<b>Subject:</b> [External] Re: [slurm-users] one job at a time - how to set?<u></u><u></u></span></p>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<p class="MsoNormal">Hi Michael,<u></u><u></u></p>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">thanks very much for your swift reply. So here we would have to convince the users they'd have to specify this when submitting, right? I.e. 'sbatch --exclusive myjob.sh', if I understand correctly. Would there be a way to simply enforce
 this, i.e. at the slurm.conf level or something?<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Thanks again!<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Rutger<u></u><u></u></p>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">On Wed, Apr 29, 2020 at 10:06 PM Renfro, Michael <<a href="mailto:Renfro@tntech.edu" target="_blank">Renfro@tntech.edu</a>> wrote:<u></u><u></u></p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal" style="margin-bottom:12pt"><span style="font-family:Tahoma,sans-serif"></span>That’s a *really* old version, but <a href="https://slurm.schedmd.com/archive/slurm-15.08.13/sbatch.html" target="_blank">https://slurm.schedmd.com/archive/slurm-15.08.13/sbatch.html</a> indicates
 there’s an exclusive flag you can set.<u></u><u></u></p>
<div>
<blockquote style="margin-top:5pt;margin-bottom:5pt">
<p class="MsoNormal">On Apr 29, 2020, at 1:54 PM, Rutger Vos <<a href="mailto:rutger.vos@naturalis.nl" target="_blank">rutger.vos@naturalis.nl</a>> wrote:<span style="font-family:Tahoma,sans-serif"></span><u></u><u></u></p>
</blockquote>
</div>
<blockquote style="margin-top:5pt;margin-bottom:5pt">
<div>
<p align="center" style="margin:0in 0in 0.0001pt;text-align:center;background:white">
<b><span style="font-family:Calibri,sans-serif;color:red">.</span></b><u></u><u></u></p>
<div>
<div>
<p class="MsoNormal">Hi, <u></u><u></u></p>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">for a smallish machine that has been having degraded performance we want to implement a policy where only one job (submitted with sbatch) is allowed to run and any others submitted after it are supposed to wait in line.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">I assumed this was straightforward but I can't seem to figure it out. Can I set that up in slurm.conf or in some other way? Thank you very much for your help. BTW we are running slurm 15.08.7 if that is at all relevant.<br clear="all">
<u></u><u></u></p>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<p class="MsoNormal">Best wishes,<u></u><u></u></p>
<div>
<div>
<div>
<div>
<div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<p class="MsoNormal"><span style="font-family:Arial,sans-serif">Dr. Rutger A. Vos</span>
<u></u><u></u></p>
<div>
<p class="MsoNormal"><span style="font-family:Arial,sans-serif">Researcher / Bioinformatician</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><img border="0" id="gmail-m_5451357040193260359gmail-m_-9081200530205450211_x0000_i1025" src="https://06ecba7b-a-deac235a-s-sites.googlegroups.com/a/naturalis.nl/signatures/home/logo-new.png"><u></u><u></u></p>
</div>
<p class="MsoNormal"><br>
<br>
<br>
<br>
<br>
<br>
_{<span style="font-family:Arial,sans-serif">+31717519600 - +31627085806 </span>}<u></u><u></u></p>
<div>
<p class="MsoNormal">_{<span style="font-family:Arial,sans-serif"><a href="mailto:rutger.vos@naturalis.nl" target="_blank">rutger.vos@naturalis.nl</a> - <a href="https://www.naturalis.nl" target="_blank">www.naturalis.nl</a></span>}<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">_{<span style="font-family:Arial,sans-serif">Darwinweg 2, 2333 CR Leiden</span>}<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">_{<span style="font-family:Arial,sans-serif">Postbus 9517, 2300 RA Leiden</span>}<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><a href="https://www.naturalis.nl/lang-leve" target="_blank"><span style="text-decoration:none"><img border="0" id="gmail-m_5451357040193260359gmail-m_-9081200530205450211_x0000_i1026" src="https://06ecba7b-a-deac235a-s-sites.googlegroups.com/a/naturalis.nl/signatures/home/schildpad.gif"></span></a><u></u><u></u></p>
</div>
<p class="MsoNormal" style="margin-bottom:12pt"><br>
<br>
<br>
<br>
<br>
<br>
<u></u><u></u></p>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</blockquote>
</div>
<p class="MsoNormal"><br clear="all">
<u></u><u></u></p>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<p class="MsoNormal">-- <u></u><u></u></p>
<div>
<div>
<div>
<div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<p class="MsoNormal"><span style="font-family:Arial,sans-serif">Met vriendelijke groet,</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<p class="MsoNormal"><span style="font-family:Arial,sans-serif">Dr. Rutger A. Vos</span>
<u></u><u></u></p>
<div>
<p class="MsoNormal"><span style="font-family:Arial,sans-serif">Researcher / Bioinformatician</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><img border="0" id="gmail-m_5451357040193260359gmail-m_-9081200530205450211_x0000_i1027" src="https://06ecba7b-a-deac235a-s-sites.googlegroups.com/a/naturalis.nl/signatures/home/logo-new.png"><u></u><u></u></p>
</div>
<p class="MsoNormal"><br>
<br>
<br>
<br>
<br>
<br>
_{<span style="font-family:Arial,sans-serif">+31717519600 - +31627085806 </span>}<u></u><u></u></p>
<div>
<p class="MsoNormal">_{<span style="font-family:Arial,sans-serif"><a href="mailto:rutger.vos@naturalis.nl" target="_blank">rutger.vos@naturalis.nl</a> - <a href="https://www.naturalis.nl" target="_blank">www.naturalis.nl</a></span>}<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">_{<span style="font-family:Arial,sans-serif">Darwinweg 2, 2333 CR Leiden</span>}<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">_{<span style="font-family:Arial,sans-serif">Postbus 9517, 2300 RA Leiden</span>}<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><a href="https://www.naturalis.nl/lang-leve" target="_blank"><span style="text-decoration:none"><img border="0" id="gmail-m_5451357040193260359gmail-m_-9081200530205450211_x0000_i1028" src="https://06ecba7b-a-deac235a-s-sites.googlegroups.com/a/naturalis.nl/signatures/home/schildpad.gif"></span></a><u></u><u></u></p>
</div>
<p class="MsoNormal" style="margin-bottom:12pt"><br>
<br>
<br>
<br>
<br>
<br>
<u></u><u></u></p>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>

</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><br><div><font face="Arial">Met vriendelijke groet,</font></div><div><font face="Arial"><br></font></div><font face="Arial">Dr. Rutger A. Vos</font>
<div><font face="Arial">Researcher / Bioinformatician</font></div>
<div><img style="float: left; width: 160px; height: 82px;" src="https://06ecba7b-a-deac235a-s-sites.googlegroups.com/a/naturalis.nl/signatures/home/logo-new.png"></div><br><br><br><br><br><br>_{<font face="Arial">+31717519600 - +31627085806
</font>}<div>_{<font face="Arial"><a href="mailto:rutger.vos@naturalis.nl" target="_blank">rutger.vos@naturalis.nl</a> - <a href="https://www.naturalis.nl" target="_blank">www.naturalis.nl</a></font>}</div>
<div>_{<font face="Arial">Darwinweg 2, 2333 CR Leiden</font>}</div><div>_{<font face="Arial">Postbus 9517, 2300 RA Leiden</font>}</div><div><font size="“1”"><font size="“1”"><br></font></font></div><font size="“1”">
<div><font size="“1”"><a href="https://www.naturalis.nl/over-ons" target="_blank"></a><a href="https://www.naturalis.nl/lang-leve" target="_blank"><img style="width: 250px; height: 140px; float: left;" src="https://06ecba7b-a-deac235a-s-sites.googlegroups.com/a/naturalis.nl/signatures/home/schildpad.gif"></a></font></div><br><br><br><br><br><br><br><div><br></div><div><br></div></font></div></div></div></div></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><br><div><font face="Arial">Met vriendelijke groet,</font></div><div><font face="Arial"><br></font></div><font face="Arial">Dr. Rutger A. Vos</font>
<div><font face="Arial">Researcher / Bioinformatician</font></div>
<div><img style="float: left; width: 160px; height: 82px;" src="https://06ecba7b-a-deac235a-s-sites.googlegroups.com/a/naturalis.nl/signatures/home/logo-new.png"></div><br><br><br><br><br><br>_{<font face="Arial">+31717519600 - +31627085806
</font>}<div>_{<font face="Arial"><a href="mailto:rutger.vos@naturalis.nl" target="_blank">rutger.vos@naturalis.nl</a> - <a href="https://www.naturalis.nl" target="_blank">www.naturalis.nl</a></font>}</div>
<div>_{<font face="Arial">Darwinweg 2, 2333 CR Leiden</font>}</div><div>_{<font face="Arial">Postbus 9517, 2300 RA Leiden</font>}</div><div><font size="“1”"><font size="“1”"><br></font></font></div><font size="“1”">
<div><font size="“1”"><a href="https://www.naturalis.nl/over-ons" target="_blank"></a><a href="https://www.naturalis.nl/lang-leve" target="_blank"><img style="width: 250px; height: 140px; float: left;" src="https://06ecba7b-a-deac235a-s-sites.googlegroups.com/a/naturalis.nl/signatures/home/schildpad.gif"></a></font></div><br><br><br><br><br><br><br><div><br></div><div><br></div></font></div></div></div></div></div>