<div dir="ltr">If you use cgroups, tmpfs /tmp and /dev/shm usage is counted against the requested memory for the job.</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Mar 31, 2020 at 4:51 PM Ellestad, Erik <<a href="mailto:Erik.Ellestad@ucsf.edu">Erik.Ellestad@ucsf.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">




<div dir="ltr">
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
How are folks managing allocation of local TmpDisk for jobs?</div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
<br>
</div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
We see how you define the location of TmpFs in slurm.conf.</div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
<br>
</div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
And then how the amount per host is defined via TmpDisk.</div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
<br>
</div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
Then the request for srun/sbatch via --tmp=X</div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
<br>
</div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
However, it appears SLURM only checks the defined TmpDisk amount when allocating tmp, not the actual space available on disk.</div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
<br>
</div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
That is to say, for example, if during the course of its run, a job uses more of the TmpDisk space than it requests initially, SLURM doesn't check the actual disk space available for other jobs.</div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
<br>
</div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
The only notification that you will get is when your jobs run out of space or the defined TmpFs is full.<br>
</div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
<br>
</div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
Thanks!</div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
<br>
</div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
Erik</div>
<div>
<div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt">
<br>
</div>
<div id="gmail-m_-645497180812122939Signature">
<div></div>
<div></div>
<div id="gmail-m_-645497180812122939divtagdefaultwrapper" style="font-size:12pt;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif" dir="ltr">
<div style="font-family:Tahoma;font-size:13px">
<div style="font-family:Tahoma;font-size:13px">
<div style="font-size:13px">
<div><font size="2"><span style="font-size:10pt"><font face="Courier New"></font>
<div><font face="Courier New">---</font></div>
<div><font face="Courier New"><span style="font-family:"Courier New",monospace">Erik Ellestad</span></font><br>
</div>
<span style="font-family:"Courier New",monospace;background-color:rgb(255,255,255);display:inline">Wynton Cluster SysAdmin</span><br>
<span style="font-family:"Courier New",monospace;background-color:rgb(255,255,255);display:inline">UCSF</span>
<div><font face="Courier New"></font></div>
</span></font></div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>

</blockquote></div>