<div dir="ltr">In the slurm.conf manual they state the CpuSpecList ids are "abstract", and in the CPU management docs they enforce the notion that the abstract Slurm IDs are not related to the Linux hardware IDs, so that is probably the source of the behavior. I unfortunately don't have more information.<br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Dec 13, 2022 at 9:45 AM Paul Raines <<a href="mailto:raines@nmr.mgh.harvard.edu">raines@nmr.mgh.harvard.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
Hmm.  Actually looks like confusion between CPU IDs on the system<br>
and what SLURM thinks the IDs are<br>
<br>
# scontrol -d show job 8<br>
...<br>
      Nodes=foobar CPU_IDs=14-21 Mem=25600 GRES=<br>
...<br>
<br>
# cat <br>
/sys/fs/cgroup/system.slice/slurmstepd.scope/job_8/cpuset.cpus.effective<br>
7-10,39-42<br>
<br>
<br>
-- Paul Raines (<a href="http://help.nmr.mgh.harvard.edu" rel="noreferrer" target="_blank">http://help.nmr.mgh.harvard.edu</a>)<br>
<br>
<br>
<br>
On Tue, 13 Dec 2022 9:40am, Paul Raines wrote:<br>
<br>
><br>
> Oh but that does explain the CfgTRES=cpu=14.  With the CpuSpecList<br>
> below and SlurmdOffSpec I do get CfgTRES=cpu=50 so that makes sense.<br>
><br>
> The issue remains that thought the number of cpus in CpuSpecList<br>
> is taken into account, the exact IDs seem to be ignored.<br>
><br>
><br>
> -- Paul Raines (<a href="http://help.nmr.mgh.harvard.edu" rel="noreferrer" target="_blank">http://help.nmr.mgh.harvard.edu</a>)<br>
><br>
><br>
><br>
> On Tue, 13 Dec 2022 9:34am, Paul Raines wrote:<br>
><br>
>><br>
>>  I have tried it both ways with the same result.  The assigned CPUs<br>
>>  will be both in and out of the range given to CpuSpecList<br>
>><br>
>>  I tried setting using commas instead of ranges so used<br>
>><br>
>>  CpuSpecList=0,1,2,3,4,5,6,7,8,9,10,11,12,13<br>
>><br>
>>  But still does not work<br>
>><br>
>>  $ srun -p basic -N 1 --ntasks-per-node=1 --mem=25G \<br>
>>  --time=10:00:00 --cpus-per-task=8 --pty /bin/bash<br>
>>  $ grep -i ^cpu /proc/self/status<br>
>>  Cpus_allowed:   00000780,00000780<br>
>>  Cpus_allowed_list:      7-10,39-42<br>
>> <br>
>><br>
>>  -- Paul Raines (<a href="http://help.nmr.mgh.harvard.edu" rel="noreferrer" target="_blank">http://help.nmr.mgh.harvard.edu</a>)<br>
>> <br>
>> <br>
>><br>
>>  On Mon, 12 Dec 2022 10:21am, Sean Maxwell wrote:<br>
>><br>
>>>   Hi Paul,<br>
>>><br>
>>>   Nodename=foobar \<br>
>>>>      CPUs=64 Boards=1 SocketsPerBoard=2 CoresPerSocket=16<br>
>>>>      ThreadsPerCore=2<br>
>>>>      \<br>
>>>>      RealMemory=256312 MemSpecLimit=32768 CpuSpecList=14-63 \<br>
>>>>      TmpDisk=6000000 Gres=gpu:nvidia_rtx_a6000:1<br>
>>>><br>
>>>>   The slurm.conf also has:<br>
>>>><br>
>>>>   ProctrackType=proctrack/cgroup<br>
>>>>   TaskPlugin=task/affinity,task/cgroup<br>
>>>>   TaskPluginParam=Cores,*SlurmdOf**fSpec*,Verbose<br>
>>>> <br>
>>><br>
>>>   Doesn't setting SlurmdOffSpec tell Slurmd that is should NOT use the<br>
>>>   CPUs<br>
>>>   in the spec list? (<br>
>>>   <a href="https://slurm.schedmd.com/slurm.conf.html#OPT_SlurmdOffSpec" rel="noreferrer" target="_blank">https://slurm.schedmd.com/slurm.conf.html#OPT_SlurmdOffSpec</a>)<br>
>>>   In this case, I believe it uses what is left, which is the 0-13. We are<br>
>>>   just starting to work on this ourselves, and were looking at this<br>
>>>   setting.<br>
>>><br>
>>>   Best,<br>
>>><br>
>>>   -Sean<br>
>>> <br>
>> <br>
><br>
The information in this e-mail is intended only for the person to whom it is addressed.  If you believe this e-mail was sent to you in error and the e-mail contains patient information, please contact the Mass General Brigham Compliance HelpLine at <a href="https://www.massgeneralbrigham.org/complianceline" rel="noreferrer" target="_blank">https://www.massgeneralbrigham.org/complianceline</a> <<a href="https://www.massgeneralbrigham.org/complianceline" rel="noreferrer" target="_blank">https://www.massgeneralbrigham.org/complianceline</a>> .<br>
Please note that this e-mail is not secure (encrypted).  If you do not wish to continue communication over unencrypted e-mail, please notify the sender of this message immediately.  Continuing to send or respond to e-mail after receiving this message means you understand and accept this risk and wish to continue to communicate over unencrypted e-mail. <br>
<br>
</blockquote></div>