<div dir="ltr">When I run an sbatch script with the line<br><br>#SBATCH --gres=gpu:gp100:1<br><br>it runs.  When I change it to<br><br>#SBATCH --gres=gpu:gp100:3<br><br>it fails with "Requested node configuration is not available".  But I have a node with 4 gp100s available.  Here's my slurm.conf:<br><br>NodeName=liqidos-dean-node1 CPUs=2 Boards=1 SocketsPerBoard=2 CoresPerSocket=1 ThreadsPerCore=1 RealMemory=3770 Gres=gpu:gp100:4<br><br>That node has a gres.conf with these lines:<br><br>Name=gpu Type=gp100  File=/dev/nvidia0<br>Name=gpu Type=gp100  File=/dev/nvidia1<br>Name=gpu Type=gp100  File=/dev/nvidia2<br>Name=gpu Type=gp100  File=/dev/nvidia3<br><br>The character devices all exist in /dev.<br><br>What's the controller complaining about?<br></div>