<div dir="ltr">I've found out the problem, in my case I had set too much higher value on DefMemperCPU , then when I was requesting 80 cpus for instance, the memory would not be enough.<div><br></div><div>It seems to be working fine now, I'm still testing.</div><div><br></div><div>Thanks, though.</div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr">On Fri, 7 Dec 2018 at 15:04, Jeffrey Frey <<a href="mailto:frey@udel.edu">frey@udel.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;">I ran into this myself.  By default Slurm allocates HT's as pairs (associated with a single core).  The only adequate way I figured out to force HT = core is to make them full-fledged cores in the config:<div><br></div><div><br></div><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><div><div>NodeName=csk007 CPUs=80 Boards=1 SocketsPerBoard=2 CoresPerSocket=40 ThreadsPerCore=1 RealMemory=385630 TmpDisk=217043</div></div></blockquote><div><br></div><div><br></div><div>and then I make sure those nodes have a "HT" feature on them to remind me they're configured with HT enabled -- also lets users request nodes with or without "HT" feature.</div><div><br></div><div><br></div><div><br></div><div><br></div><div><br><blockquote type="cite">On Dec 7, 2018, at 6:12 AM, Sidiney Crescencio <<a href="mailto:sidiney.crescencio@clustervision.com" target="_blank">sidiney.crescencio@clustervision.com</a>> wrote:<br><br>Hello All,<br><br>I'm facing some issues to use the HT on my compute nodes, I'm running slurm 17.02.7<br><br>SelectTypeParameters    = CR_CORE_MEMORY<br><br>cgroup.conf<br><br>CgroupAutomount=yes<br>CgroupReleaseAgentDir="/etc/slurm/cgroup"<br><br># cpuset subsystem<br>ConstrainCores=yes<br>TaskAffinity=no<br><br># memory subsystem<br>ConstrainRAMSpace=yes<br>ConstrainSwapSpace=yes<br><br># device subsystem<br>ConstrainDevices=yes<br><br>If I try to allocate the 80 CPUs it will not work, I couldn't find why this doesn't work. Do you guys have any ideas or could cause this issue? I've been playing with several different parameters on the node definition, also using --threads-per-core, etc.. but still I should be able to allocate the 80 cpus.<br><br>Thanks in advance.<br><br>srun --reservation=test_ht -p defq -n 80 sleep 100<br>srun: error: Unable to allocate resources: Requested node configuration is not available<br><br>--------------<br><br>[root@csk007 ~]# slurmd -C<br>NodeName=csk007 CPUs=80 Boards=1 SocketsPerBoard=2 CoresPerSocket=20 ThreadsPerCore=2 RealMemory=385630 TmpDisk=217043<br>UpTime=84-00:36:44<br>[root@csk007 ~]# scontrol show node csk007<br>NodeName=csk007 Arch=x86_64 CoresPerSocket=20<br>   CPUAlloc=0 CPUErr=0 CPUTot=80 CPULoad=4.03<br>   AvailableFeatures=(null)<br>   ActiveFeatures=(null)<br>   Gres=(null)<br>   NodeAddr=csk007 NodeHostName=csk007 Version=17.02<br>   OS=Linux RealMemory=380000 AllocMem=0 FreeMem=338487 Sockets=2 Boards=1<br>   State=RESERVED ThreadsPerCore=2 TmpDisk=0 Weight=1 Owner=N/A MCS_label=N/A<br>   Partitions=defq<br>   BootTime=2018-09-14T12:31:05 SlurmdStartTime=2018-11-29T15:25:03<br>   CfgTRES=cpu=80,mem=380000M<br>   AllocTRES=<br>   CapWatts=n/a<br>   CurrentWatts=0 LowestJoules=0 ConsumedJoules=0<br>   ExtSensorsJoules=n/s ExtSensorsWatts=0 ExtSensorsTemp=n/s<br><br>-----------------------<br><br>-- <br>Best Regards, <br>Sidiney<br></blockquote><br><div><br>::::::::::::::::::::::::::::::::::::::::::::::::::::::<br>Jeffrey T. Frey, Ph.D.<br>Systems Programmer V / HPC Management<br>Network & Systems Services / College of Engineering<br>University of Delaware, Newark DE  19716<br>Office: (302) 831-6034  Mobile: (302) 419-4976<br>::::::::::::::::::::::::::::::::::::::::::::::::::::::<br><br><br><br></div><br></div></div></blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr">Best Regards, <br><div><br></div><div><table height="195" width="312" style="font-size:7pt;font-family:Tahoma,Arial,Helvetica;padding:0px;border:1px solid rgb(234,239,242)"><tbody><tr valign="top"><td colspan="2"><img alt="clustervision_logo.png" title="" src="http://www.clustervision.com/images/cv_sig.gif"></td></tr><tr><td valign="bottom" nowrap style="padding-left:12px"><font style="font-size:9pt;font-weight:bold">Sidiney Crescencio<br></font><font style="font-size:7pt">Technical Support Engineer<br> <br> <br>Direct: +31 20 407 7550<br>Skype: sidiney.crescencio_1<br><a href="mailto:sidiney.crescencio@clustervision.com" style="color:rgb(57,136,194)" target="_blank">sidiney.crescencio@clustervision.com</a></font><br> <br></td><td valign="bottom" nowrap><font style="font-size:8pt;font-weight:bold">ClusterVision BV<br></font><font style="font-size:7pt">Gyroscoopweg 56<br>1042 AC Amsterdam<br>The Netherlands<br>Tel: +31 20 407 7550<br>Fax: +31 84 759 8389<br><a href="http://www.clustervision.com/" style="color:rgb(0,63,119)" target="_blank">www.clustervision.com</a></font><br> <br></td></tr></tbody></table><br style="color:rgb(0,0,0);font-family:"Times New Roman";font-size:medium"><br style="color:rgb(0,0,0);font-family:"Times New Roman";font-size:medium"><br style="color:rgb(0,0,0);font-family:"Times New Roman";font-size:medium"><br style="color:rgb(0,0,0);font-family:"Times New Roman";font-size:medium"></div></div></div></div></div></div></div>