<div dir="ltr"><div>Hello,</div><div><br></div><div>I just added a 3rd node to my slurm partition (called "hsw5"), as we continue to enable Slurm in our environment.  But the new node is not accepting jobs that require a GPU, despite the fact that it has 3 GPUs.</div><div><br></div><div>The other node that has a GPU ("devops3") is accepting GPU jobs as expected.  A colleague pointed out an interesting difference (under the GRES column) when we did this command:</div><div><br></div><font face="monospace">(! 676)-> sinfo -o "%20N  %10c  %10m  %25f  %20G "<br>NODELIST              CPUS        MEMORY      AVAIL_FEATURES             GRES<br>devops2               4           9913        avx,centos,fast,fma,fma4,  (null)<br>devops3               8           40213       centos,cuda10.1p,cuda10.2  <b>gpu:1(S:0-1)</b><br>hsw5                  64          257847      foo,bar                    <b>gpu:3</b></font><br><div><br></div><div>Is there a problem with the GPU bindings on "hsw5"?  Do GPUs need to be associated with sockets, or something like that?</div><div><br></div><div>Here is the error message I'm seeing:  </div><div><br><div style="margin:0px;padding:0px;border:0px;font-variant-numeric:inherit;font-variant-east-asian:inherit;font-stretch:inherit;font-size:15px;line-height:inherit;vertical-align:baseline;color:rgb(0,0,0)"><p style="font-size:11pt;margin:0px"><font face="monospace">(! 681)-> /opt/slurm-20.11.5/bin/sbatch --export=NONE -N 1 --constraint foo --gpus=1 --wrap "ls"<br>sbatch: error: Batch job submission failed: Requested node configuration is not available</font><br></p><p style="font-size:11pt;margin:0px"><font face="monospace"><br></font></p><p style="font-size:11pt;margin:0px"><font face="monospace">(! 682)-> /opt/slurm-20.11.5/bin/sbatch --export=NONE -N 1 --constraint foo  --wrap "ls"<br>Submitted batch job 385</font><br></p></div><p style="color:rgb(0,0,0);font-size:11pt;font-family:Calibri,sans-serif;margin:0px"><span style="margin:0px;padding:0px;border:0px;font-style:inherit;font-variant:inherit;font-weight:inherit;font-stretch:inherit;font-size:10pt;line-height:inherit;font-family:"Courier New";vertical-align:baseline;color:rgb(134,17,6)"><br></span></p></div><div>Thanks for the help,</div><div><br>David</div></div>