<div dir="ltr">...and... you need to restart slurmctld when you change a NodeName line. "scontrol reconfigure" doesn't do the truck.</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jul 26, 2021 at 12:49 PM Fulcomer, Samuel <<a href="mailto:samuel_fulcomer@brown.edu">samuel_fulcomer@brown.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">If you have a dual-root PCIe system you may need to specify the CPU/core affinity in gres.conf.</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jul 26, 2021 at 12:07 PM Jason Simms <<a href="mailto:simmsj@lafayette.edu" target="_blank">simmsj@lafayette.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Hello all,</div><div><br></div><div>I have a GPU node with 3 identical GPUs (we started with two and recently added the third). Running <span style="font-family:monospace">nvidia-smi</span> correctly shows that all three are recognized. My gres.conf file has only this line:</div><div><br></div><div><span style="font-family:monospace">NodeName=gpu01 File=/dev/nvidia[0-2] Type=quadro_8000 Name=gpu Count=3</span></div><div><br></div><div>And the relevant lines in slurm.conf are:</div><div><span style="font-family:monospace"><br></span></div><div><span style="font-family:monospace">NodeName=gpu01 Sockets=2 CoresPerSocket=16 ThreadsPerCore=1 RealMemory=189900 State=UNKNOWN Gres=gpu:quadro_8000:3</span></div><div><br></div><div>As far as I can tell, all of this is fine (and we had no issues when we only had the initial two GPUs in the system). However, now when I run <span style="font-family:monospace">sinfo -o %G</span> (which as I understand will report the total number of gres resources available), this is the output:</div><div><br></div><div><span style="font-family:monospace">GRES<br>(null)<br>gpu:quadro_8000:2</span></div><div><br></div><div>Is this saying that it doesn't recognize the third card? Any suggestions? As always, thank you for your help!</div><div><br></div><div>Warmest regards,</div><div>Jason<br></div><br>-- <br><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div style="color:rgb(0,0,0);font-family:Helvetica;font-size:14px;margin:0px"><span style="color:rgb(130,36,51)"><font face="Century Gothic"><b>Jason L. Simms, Ph.D., M.P.H.</b></font></span></div><div style="color:rgb(0,0,0);font-family:Helvetica;font-size:14px;margin:0px"><font face="Century Gothic"><span>Manager of Research and High-Performance Computing</span></font></div><div style="color:rgb(0,0,0);font-family:Helvetica;font-size:14px;margin:0px"><font face="Century Gothic"><span>XSEDE Campus Champion<br></span><span style="color:gray">Lafayette College<br>Information Technology Services<br>710 Sullivan Rd | Easton, PA 18042<br>Office: 112 Skillman Library<br>p: (610) 330-5632</span></font></div></div></div></div></div></div></div></div></div></div>
</blockquote></div>
</blockquote></div>