<div dir="ltr">Thank you Erik.<div><br></div><div>To define the local scratch on all the compute node is not mandatory? only on slurm server is enough right?</div><div>Also the TMPdisk should be defined in MB or can be defined in GB as well<br></div><div><br></div><div>while requesting --tmp , we can use the value in GB right?</div><div><br></div><div>Regards</div><div>Navin.</div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Apr 14, 2020 at 11:04 PM Ellestad, Erik <<a href="mailto:Erik.Ellestad@ucsf.edu">Erik.Ellestad@ucsf.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">




<div dir="ltr">
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
<span>Have you defined the TmpDisk value for each node?</span></div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
<span><br>
</span></div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
<span>As far as I know, local disk space is not a valid type for GRES.</span></div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
<span><br>
</span></div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
<span><a href="https://slurm.schedmd.com/gres.html" target="_blank">https://slurm.schedmd.com/gres.html</a><br>
</span></div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
<span><br>
</span></div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
<span><span style="color:rgb(70,84,92);font-family:"Source Sans Pro",Helvetica,Arial,sans-serif;font-size:20px;text-align:start;background-color:rgb(255,255,255);display:inline">"Generic resource (GRES) scheduling is supported through
 a flexible plugin mechanism. Support is currently provided for Graphics Processing Units (GPUs), CUDA Multi-Process Service (MPS), and Intel® Many Integrated Core (MIC) processors.</span>"</span></div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
<span><br>
</span></div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
<span>The only valid solution I've found for scratch is to:</span></div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
<span><br>
</span></div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
In slurm.conf, d<span>efine the location of local scratch globally via TmpFS.</span></div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
<span><br>
</span></div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
<span>
<div style="border-color:currentcolor;color:black;font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;margin-bottom:0px;margin-top:0px">
And then the amount per host is defined via TmpDisk=xxx.</div>
<span style="background-color:rgb(255,255,255);display:inline"></span>
<div style="border-color:currentcolor;color:black;font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;margin-bottom:0px;margin-top:0px">
<br>
</div>
<span style="background-color:rgb(255,255,255);display:inline"></span>
<div style="border-color:currentcolor;color:black;font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;margin-bottom:0px;margin-top:0px">
Then the request for srun/sbatch via --tmp=X</div>
<span style="background-color:rgb(255,255,255);display:inline"></span>
<div style="border-color:currentcolor;color:black;font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;margin-bottom:0px;margin-top:0px">
<br>
</div>
<span style="background-color:rgb(255,255,255);display:inline"></span>
<div style="border-color:currentcolor;color:black;font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;margin-bottom:0px;margin-top:0px">
<br>
</div>
</span></div>
<div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
<br>
</div>
<div id="gmail-m_6961401004416808594Signature">
<div></div>
<div></div>
<div id="gmail-m_6961401004416808594divtagdefaultwrapper" style="font-size:12pt;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif" dir="ltr">
<div style="font-family:Tahoma;font-size:13px">
<div style="font-family:Tahoma;font-size:13px">
<div style="font-size:13px">
<div><font size="2"><span style="font-size:10pt"><font face="Courier New"></font>
<div><font face="Courier New">---</font></div>
<div><font face="Courier New"><span style="font-family:"Courier New",monospace">Erik Ellestad</span></font><br>
</div>
<span style="font-family:"Courier New",monospace;background-color:rgb(255,255,255);display:inline">Wynton Cluster SysAdmin</span><br>
<span style="font-family:"Courier New",monospace;background-color:rgb(255,255,255);display:inline">UCSF</span>
<div><font face="Courier New"></font></div>
</span></font></div>
</div>
</div>
</div>
</div>
</div>
</div>
<div id="gmail-m_6961401004416808594appendonsend"></div>
<hr style="display:inline-block;width:98%">
<div id="gmail-m_6961401004416808594divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" style="font-size:11pt" color="#000000"><b>From:</b> slurm-users <<a href="mailto:slurm-users-bounces@lists.schedmd.com" target="_blank">slurm-users-bounces@lists.schedmd.com</a>> on behalf of navin srivastava <<a href="mailto:navin.altair@gmail.com" target="_blank">navin.altair@gmail.com</a>><br>
<b>Sent:</b> Tuesday, April 14, 2020 7:32 AM<br>
<b>To:</b> Slurm User Community List <<a href="mailto:slurm-users@lists.schedmd.com" target="_blank">slurm-users@lists.schedmd.com</a>><br>
<b>Subject:</b> Re: [slurm-users] How to request for the allocation of scratch .</font>
<div> </div>
</div>
<div>
<div dir="ltr"><br>
<div>Any suggestion on the above query.need help to understand it. </div>
<div>Does TmpFS=/scratch   and the request is #SBATCH --tmp=500GB  then it will reserve the 500GB from scratch.</div>
<div>let me know if my assumption is correct?</div>
<div><br>
</div>
<div>Regards<br>
</div>
<div>Navin.</div>
<div><br>
</div>
</div>
<br>
<div>
<div dir="ltr">On Mon, Apr 13, 2020 at 11:10 AM navin srivastava <<a href="mailto:navin.altair@gmail.com" target="_blank">navin.altair@gmail.com</a>> wrote:<br>
</div>
<blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div dir="ltr">Hi Team,
<div><br>
</div>
<div>i wanted to define a mechanism to request the local disk space while submitting the job.<br>
</div>
<div><br>
</div>
<div>we have dedicated /scratch of 1.2 TB file system for the execution of the job on each of the compute nodes other than / and other file system.</div>
<div>i have defined in slurm.conf as TmpFS=/scratch  and then wanted to use  #SBATCH --scratch =10GB   in the request.<br>
</div>
<div>but it seems it is not accepting this variable except /tmp. </div>
<div><br>
</div>
<div>Then i have opted the mechanism of gres.conf </div>
<div><br>
</div>
<div>GresTypes=gpu,scratch<br>
</div>
<div><br>
</div>
<div>and defined each node the scratch value and then requested using --gres=lscratch:10GB</div>
<div>but in this scenario if requesting both gres resources gpu as well as scratch it show me only scratch in my Gres resource not gpu.</div>
<div>does it using the gpu also as a gres resource?</div>
<div><br>
</div>
<div>could anybody please advice which is the correct method to achieve the same?<br>
</div>
<div>Also, is scratch will be able to calculate the actual usage value on the node. </div>
<div><br>
</div>
<div>REgards</div>
<div>Navin.</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div></div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
</div>
</blockquote>
</div>
</div>
</div>

</blockquote></div>