What is the value of env. variable<br>CUDA_VISIBLE_DEVICES<br><br> ? <br><br>Envoyé depuis mon mobile Huawei<div class="quote" style="line-height: 1.5"><br><br>-------- Message original --------<br>Objet : [slurm-users] Two jobs ends up on one GPU?<br>De : Magnus Jonsson <magnus@hpc2n.umu.se><br>À : slurm-users@lists.schedmd.com<br>Cc : <br><br><br type="attribution"><blockquote class="quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi!<br><br>We have machines with multiple GPUs (Nvidia V100).<br>We allow multiple (two) jobs on the nodes.<br><br>We have a user that in some way have managed to get both jobs to end up <br>on the same GPU (verified via nvidia-smi).<br><br>We are using cgroups and the nvidia-smi command only shows one of the <br>GPUs (if only one GPU are requested) and only the defined /dev/nvidia? <br>device are accessable.<br><br>We are unable to reproduce this. Have anybody seen anything like this?<br><br>/Magnus<br><br>-- <br>Magnus Jonsson, Developer, HPC2N, Umeå Universitet<br><br></blockquote></div>