<div dir="ltr"><div>Hello, <br></div><div><br></div><div>I recently set up a small cluster at work using Warewulf/Slurm. Currently, I am not able to get the scheduler to <br></div><div>work well with GPU's (Gres). <br></div><div><br></div><div>While slurm is able to filter by GPU type, it allocates all the GPU's on the node. See below:</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span style="font-family:monospace">[abhiram@whale ~]$ srun --gres=gpu:p100:2 -n 1 --partition=gpu nvidia-smi --query-gpu=index,name --format=csv</span><br><span style="font-family:monospace">index, name</span><br><span style="font-family:monospace">0, Tesla P100-PCIE-16GB</span><br><span style="font-family:monospace">1, Tesla P100-PCIE-16GB</span><br><span style="font-family:monospace">2, Tesla P100-PCIE-16GB</span><br><span style="font-family:monospace">3, Tesla P100-PCIE-16GB</span><br><span style="font-family:monospace">[abhiram@whale ~]$ srun --gres=gpu:titanrtx:2 -n 1 --partition=gpu nvidia-smi --query-gpu=index,name --format=csv</span><br><span style="font-family:monospace">index, name</span><br><span style="font-family:monospace">0, TITAN RTX</span><br><span style="font-family:monospace">1, TITAN RTX</span><br><span style="font-family:monospace">2, TITAN RTX</span><br><span style="font-family:monospace">3, TITAN RTX</span><br><span style="font-family:monospace">4, TITAN RTX</span><br><span style="font-family:monospace">5, TITAN RTX</span><br><span style="font-family:monospace">6, TITAN RTX</span><br><span style="font-family:monospace">7, TITAN RTX</span><br><span style="font-family:monospace"></span></blockquote><div><br></div><div>I am fairly new to Slurm and still figuring out my way around it. I would really appreciate any help with this.</div><div><br></div><div>For your reference, I attached the slurm.conf and gres.conf files. <br></div><div><br></div><div>Best, <br></div><div><br></div><div>Abhiram <br></div><div><br>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><pre cols="72">Abhiram Chintangal
QB3 Nogales Lab 
Bioinformatics Specialist @ Howard Hughes Medical Institute
University of California Berkeley 
708D Stanley Hall, Berkeley, CA 94720
Phone (510)666-3344<br></pre>
</div></div></div></div></div></div></div></div>