<div dir="ltr"><div dir="ltr"><div>Hi,</div><div><br></div><div>I've also encountered this issue of the deprecated %b. I'm currently parsing the output of "scontrol show jobs -dd" to see what was requested (and which exact GPUs were  allocated).<br></div><div><br></div><div>Hope this helps,</div><div>    Yair.<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Feb 24, 2020 at 11:56 PM Venable, Richard (NIH/NHLBI) [E] <<a href="mailto:venabler@nhlbi.nih.gov">venabler@nhlbi.nih.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<div lang="EN-US">
<div class="gmail-m_-2714566442590124044WordSection1">
<p class="MsoNormal"><span style="font-family:Palatino;color:rgb(83,129,53)">I’m seeing a problem with GPU usage reporting via squeue in the 19.05.3 release.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-family:Palatino;color:rgb(83,129,53)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-family:Palatino;color:rgb(83,129,53)">I’ve been using a custom script to track GPUs in use, and had been relying on the ‘%b’ field of squeue -o formatting (which now seems to be undocumented) to capture usage requested via --gres
 option of sbatch.  Unfortunately, besides apparently being deprecated, ‘%b’ does not report usage requested via the new --gpus option.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-family:Palatino;color:rgb(83,129,53)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-family:Palatino;color:rgb(83,129,53)">I’ve tried several squeue -O option fields, but only ‘tres-alloc’ seems to consistently report GPU usage, independent of which sbatch option was used for the request.  The ‘tres-per-node’
 field only reports usage requested by --gres, while ‘tres-per-job’ only reports usage requested by the  --gpus option.  Also, the -O formatting doesn’t put a single space between fields, a problem for longer job names or usernames, and messes up the field
 parsing of the output when two fields are run together.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-family:Palatino;color:rgb(83,129,53)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-family:Palatino;color:rgb(83,129,53)">Our users like to know which partition has the most free GPUs, and right now my script is broken wrt. usage via the --gpus option.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-family:Palatino;color:rgb(83,129,53)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-family:Palatino;color:rgb(83,129,53)">If there is no other option, I can probably parse the ‘tres-alloc’ field (it has more info than I need), but I’m looking for alternatives, or any information that might indicate the ‘tres-*’
 fields are more consistent in the newer (.4 or .5) SLURM releases. <u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-family:Palatino;color:rgb(83,129,53)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-family:Palatino;color:rgb(83,129,53)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-family:Palatino;color:rgb(83,129,53)">BTW, sreport does a bad job of reporting GPU usage as well, in that the GRES/GPU total % for root in the account listing on a given cluster is always less than the % allocated in the utilization
 listing, sometime by a substantial amount.  The CPU usage is almost always the same in both sreport listings.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-family:Palatino;color:rgb(83,129,53)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-family:Palatino;color:rgb(83,129,53)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-family:Palatino;color:rgb(83,129,53)">--<u></u><u></u></span></p>
<p class="MsoNormal"><i><span style="font-family:Palatino;color:rgb(83,129,53)">Rick Venable</span></i><span style="font-family:Palatino;color:rgb(83,129,53)">   <u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-family:Palatino;color:rgb(83,129,53)">NIH/NHLBI/DIR/BBC
<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-family:Palatino;color:rgb(83,129,53)">Lab. of Membrane Biophysics MSC 5690<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-family:Palatino;color:rgb(83,129,53)">Bldg. 12A Room 3053L<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-family:Palatino;color:rgb(83,129,53)">Bethesda, MD  20892-5690   U.S.A.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-family:"Times New Roman",serif;color:rgb(83,129,53)"><u></u> <u></u></span></p>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>

</blockquote></div><br></div>