<div dir="ltr"><div dir="ltr"><div><div><div><div>Hi,</div><div>   Just for later reference, it turns out I have only to add thing like this in the submission script:</div><div>###SBATCH --ntasks-per-socket=4</div><div>export OMP_NUM_THREADS=${SLURM_CPUS_PER_TASK}</div><div>export OMP_PROC_BIND="spread"      ## make cores in order inside a task</div><div>srun --cpu-bind=v,cores -m block:block ./code  </div></div></div></div><div><br></div><div>Thanks,</div><div>Chris</div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Apr 19, 2019 at 9:22 AM Lincy <<a href="mailto:lincy.tw@gmail.com">lincy.tw@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"> Hi all,<br>          I have a cpu allocation problem on the 2 socket 18-core
    machine, with CPUSpecList=17,35 reserved.<br>
    Ideally, if I submit a job with two 17-core tasks in a node, it
    allocates each task on a single NUMA node. <br>
    <font size="-1"></font><br>
    <font size="-1"> </font>
    <address style="color:rgb(0,0,0);background-color:rgb(248,249,250);border:1px solid rgb(234,236,240);padding:1em;white-space:pre-wrap;line-height:1.3em;font-size:16px;font-style:normal"><font size="-1" face="Courier New, Courier, monospace"># </font><font size="-1" face="Courier New, Courier, monospace"><b>srun -N1 -n2 --cpus-per-task=</b><b>17</b><b>  numactl  -s
</b>physcpubind: <b><font color="#ff0000">0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16</font></b>
cpubind: 0
membind: 0 1
physcpubind: <font color="#ff0000"><b>18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34</b></font>
cpubind: 1
membind: 0 1
</font></address>
    <font size="-1"><br class="gmail-m_1704860486953409100gmail-Apple-interchange-newline">
    </font>However, a job with two 16-core tasks show a bad allocation
    (cover two numa nodes) even if I enforce it by
    --cpu-bind=mask_cpu:0xffff,0x3fffc0000<br>
    <font size="-1"><br>
    </font>
    <address style="color:rgb(0,0,0);background-color:rgb(248,249,250);border:1px solid rgb(234,236,240);padding:1em;white-space:pre-wrap;line-height:1.3em;font-size:16px;font-style:normal"><font size="-1" face="Courier New, Courier, monospace"># </font><font size="-1" face="Courier New, Courier, monospace"><b>srun -N1 -n2 --cpus-per-task=</b><font color="#ff0000"><b>16</b></font><b>  numactl  -s</b>, <font size="-1">
</font>physcpubind: <b><font color="#ff0000">0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15</font></b>
cpubind: 0
membind: 0 1
physcpubind: <font color="#ff0000"><b>16 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32</b></font>
cpubind: 0 1
membind: 0 1
</font></address>
    <br>
    How should I allocate it on 0-15, 18-33 for example?<br>
    <br>
    Many thanks,<br>
    Chris  <br></div>
</blockquote></div>