<div dir="ltr">Important notes...<div><br></div><div>If requesting more than one core and not using "-N 1", equal numbers of GPUs will be allocated on each node where the cores are allocated. (i.e. if requesting 1 GPU for a 2-core job, if one core is allocated on each of two nodes, one GPU will be allocated on each node).</div><div><br></div><div>If you are running node exclusive, all GPUs on the node will be allocated to the job, regardless of how many are used.</div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Jan 5, 2021 at 7:30 PM Erik Bryer <<a href="mailto:ebryer@isi.edu">ebryer@isi.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">




<div dir="ltr">
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<span style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">I made the gres.conf the same on both nodes and Slurm started without error. I'm now seeing another error.</span></div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<span style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt"><br>
</span></div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<span style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">There are 4 GPUs defined per node. If I start 2 jobs with </span><br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
#SBATCH --gpus=foolsgold:4<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
it runs one job in each of the 2 nodes. If I scancel those and run 4 jobs with the script reading</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
#SBATCH --gpus=foolsgold:1<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
I get 2 queued and 2 running jobs. It seems allocating 1 gpu allocates all 4, not just 1. But why would this be so?</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
Thanks,<br>
Erik</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
</div>
<div id="gmail-m_6362787907256910949appendonsend"></div>
<hr style="display:inline-block;width:98%">
<div id="gmail-m_6362787907256910949divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" style="font-size:11pt" color="#000000"><b>From:</b> slurm-users <<a href="mailto:slurm-users-bounces@lists.schedmd.com" target="_blank">slurm-users-bounces@lists.schedmd.com</a>> on behalf of Chris Samuel <<a href="mailto:chris@csamuel.org" target="_blank">chris@csamuel.org</a>><br>
<b>Sent:</b> Thursday, December 24, 2020 5:44 PM<br>
<b>To:</b> <a href="mailto:slurm-users@lists.schedmd.com" target="_blank">slurm-users@lists.schedmd.com</a> <<a href="mailto:slurm-users@lists.schedmd.com" target="_blank">slurm-users@lists.schedmd.com</a>><br>
<b>Subject:</b> Re: [slurm-users] trying to add gres</font>
<div> </div>
</div>
<div><font size="2"><span style="font-size:11pt">
<div>On 24/12/20 4:42 pm, Erik Bryer wrote:<br>
<br>
> I made sure my slurm.conf is synchronized across machines. My intention <br>
> is to add some arbitrary gres for testing purposes.<br>
<br>
Did you update your gres.conf on all the nodes to match?<br>
<br>
All the best,<br>
Chris<br>
-- <br>
Chris Samuel  :  <a href="http://www.csamuel.org/" target="_blank">http://www.csamuel.org/</a>  :  Berkeley, CA, USA<br>
<br>
</div>
</span></font></div>
</div>

</blockquote></div>