<div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-family:monospace"><br></div><div class="gmail_default" style="font-family:monospace">I don't think that's a bug.  As far as I've ever known, TmpFS is only used to tell slurmd where to look for available space (reported as TmpDisk for the node).  The manpage only indicates that, not any additional functionality.  We set TMPDIR in a task prolog:</div><div class="gmail_default" style="font-family:monospace"><br></div><div class="gmail_default" style="font-family:monospace"><div class="gmail_default">#!/bin/bash</div><div class="gmail_default">echo "export TMPDIR=/loc/scratch/${SLURM_JOB_ID}"</div><div class="gmail_default">echo "export SCRATCH_LOCAL=/loc/scratch/${SLURM_JOB_ID}"</div><div class="gmail_default">echo "export SCRATCH=/net/scratch/${SLURM_JOB_ID}"</div><div><br></div><div>- Michael</div><div><br></div></div><input name="virtru-metadata" type="hidden" value="{"email-policy":{"state":"closed","expirationUnit":"days","disableCopyPaste":false,"disablePrint":false,"disableForwarding":false,"enableNoauth":false,"expires":false,"isManaged":false},"attachments":{},"compose-id":"13","compose-window":{"secure":false}}"></div><br><div class="gmail_quote" style=""><div dir="ltr">On Wed, Nov 21, 2018 at 6:52 AM Shenglong Wang <<a href="mailto:sw77@nyu.edu">sw77@nyu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word;line-break:after-white-space"><div>We have TMPDIR setup inside prolog file. Hope users do not have absolute path /tmp inside their scripts.</div><div><br></div><div><div>#!/bin/bash</div><div><br></div><div>SLURM_BIN="/opt/slurm/bin"</div><div><br></div><div>SLURM_job_tmp=/state/partition1/job-${SLURM_JOB_ID}</div><div><br></div><div>mkdir -m 700 -p $SLURM_job_tmp</div><div>chown $SLURM_JOB_USER $SLURM_job_tmp</div><div><br></div><div>echo "export SLURM_JOBTMP=$SLURM_job_tmp"</div><div>echo "export SLURM_JOB_TMP=$SLURM_job_tmp"</div><div>echo "export SLURM_JOB_TMPDIR=$SLURM_job_tmp"</div><div>echo "export TMPDIR=$SLURM_job_tmp”</div><div><br></div><div>Best.</div><div>Shenglong</div></div><div><br><blockquote type="cite"><div>On Nov 21, 2018, at 9:44 AM, Roger Moye <<a href="mailto:rmoye@quantlab.com" target="_blank">rmoye@quantlab.com</a>> wrote:</div><br class="m_389689319029859120Apple-interchange-newline"><div><div class="m_389689319029859120WordSection1" style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><div style="margin:0in 0in 0.0001pt;font-size:12pt;font-family:"Times New Roman",serif"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">We are having the exact same problem with $TMPDIR.   I wonder if a bug has crept in?    I spoke to the SchedMD guys at SC18 last week and they were not aware of a bug but since more than one person is having this difficulty something must be wrong somewhere.<u></u><u></u></span></div><div style="margin:0in 0in 0.0001pt;font-size:12pt;font-family:"Times New Roman",serif"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"><u></u> <u></u></span></div><div style="margin:0in 0in 0.0001pt;font-size:12pt;font-family:"Times New Roman",serif"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)">-Roger<u></u><u></u></span></div><div style="margin:0in 0in 0.0001pt;font-size:12pt;font-family:"Times New Roman",serif"><span style="font-size:11pt;font-family:Calibri,sans-serif;color:rgb(31,73,125)"><u></u> <u></u></span></div><div><div style="border-style:solid none none;border-top-width:1pt;border-top-color:rgb(225,225,225);padding:3pt 0in 0in"><div style="margin:0in 0in 0.0001pt;font-size:12pt;font-family:"Times New Roman",serif"><b><span style="font-size:11pt;font-family:Calibri,sans-serif">From:</span></b><span style="font-size:11pt;font-family:Calibri,sans-serif"><span class="m_389689319029859120Apple-converted-space"> </span>slurm-users [<a href="mailto:slurm-users-bounces@lists.schedmd.com" target="_blank">mailto:slurm-users-bounces@lists.schedmd.com</a>]<span class="m_389689319029859120Apple-converted-space"> </span><b>On Behalf Of<span class="m_389689319029859120Apple-converted-space"> </span></b>Douglas Duckworth<br><b>Sent:</b><span class="m_389689319029859120Apple-converted-space"> </span>Wednesday, November 21, 2018 7:38 AM<br><b>To:</b><span class="m_389689319029859120Apple-converted-space"> </span><a href="mailto:slurm-users@lists.schedmd.com" target="_blank">slurm-users@lists.schedmd.com</a><br><b>Subject:</b><span class="m_389689319029859120Apple-converted-space"> </span>[slurm-users] $TMPDIR does not honor "TmpFS"<u></u><u></u></span></div></div></div><div style="margin:0in 0in 0.0001pt;font-size:12pt;font-family:"Times New Roman",serif"><u></u> <u></u></div><div><div><div style="margin:0in 0in 0.0001pt;font-size:12pt;font-family:"Times New Roman",serif">Hi<span class="m_389689319029859120Apple-converted-space"> </span><u></u><u></u></div><div><div style="margin:0in 0in 0.0001pt;font-size:12pt;font-family:"Times New Roman",serif"><u></u> <u></u></div></div><div><div style="margin:0in 0in 0.0001pt;font-size:12pt;font-family:"Times New Roman",serif">We are setting TmpFS=/scratchLocal in /etc/slurm/slurm.conf on nodes and controller.  However $TMPDIR value seems to be /tmp not /scratchLocal.  As a result users are writing to /tmp which we do not want.<br><br>We are not setting $TMPDIR anywhere else such as /etc/profile.d nor do users have it defined in their ~/.bashrc or ~/.bash_profile.  <u></u><u></u></div></div><div><div style="margin:0in 0in 0.0001pt;font-size:12pt;font-family:"Times New Roman",serif"><u></u> <u></u></div></div><div><div style="margin:0in 0in 0.0001pt;font-size:12pt;font-family:"Times New Roman",serif">We do not see any error messages anywhere which could indicate why the default value of /tmp overrides our value of of TmpFS.  <u></u><u></u></div></div><div><div style="margin:0in 0in 0.0001pt;font-size:12pt;font-family:"Times New Roman",serif"><u></u> <u></u></div></div><div><div style="margin:0in 0in 0.0001pt;font-size:12pt;font-family:"Times New Roman",serif">As I understand prolog scripts can change this value though, if that's the case, then what's the purpose of setting TmpFS in /etc/slurm/slurm.conf?<u></u><u></u></div></div><div><div style="margin:0in 0in 0.0001pt;font-size:12pt;font-family:"Times New Roman",serif"><u></u> <u></u></div></div><div><div style="margin:0in 0in 0.0001pt;font-size:12pt;font-family:"Times New Roman",serif"><br clear="all"><u></u><u></u></div><div><div><div><div><div><div><div><div><div><div><div><div><div><div><div><div><div><div><div><div><div><div><div><div><div style="margin:0in 0in 0.0001pt;font-size:12pt;font-family:"Times New Roman",serif">Thanks,<u></u><u></u></div></div><div><div style="margin:0in 0in 0.0001pt;font-size:12pt;font-family:"Times New Roman",serif"><br>Douglas Duckworth, MSc, LFCS<br>HPC System Administrator<br><span style="font-size:9.5pt"><a href="https://urldefense.proofpoint.com/v2/url?u=https-3A__scu.med.cornell.edu&d=DwMGaQ&c=slrrB7dE8n7gBJbeO0g-IQ&r=gI7YPDDMIksUN29Y65_UCg&m=VfqOl-yXqx9492N0dCQZ7TafygrL8Ev0zem-MEqEYEY&s=H8jTI5dijpEftNyF3D1oZZOBrn4sRgY0wXSxgqUgD2U&e=" style="color:purple;text-decoration:underline" target="_blank">Scientific Computing Unit</a></span><u></u><u></u></div></div><div><div style="margin:0in 0in 0.0001pt;font-size:12pt;font-family:"Times New Roman",serif">Weill Cornell Medicine<u></u><u></u></div></div><div><div style="margin:0in 0in 0.0001pt;font-size:12pt;font-family:"Times New Roman",serif">1300 York Avenue<u></u><u></u></div></div><div><div style="margin:0in 0in 0.0001pt;font-size:12pt;font-family:"Times New Roman",serif">New York, NY 10065<u></u><u></u></div></div><div><div><div style="margin:0in 0in 0.0001pt;font-size:12pt;font-family:"Times New Roman",serif">E:<span class="m_389689319029859120Apple-converted-space"> </span><a href="mailto:doug@med.cornell.edu" style="color:purple;text-decoration:underline" target="_blank">doug@med.cornell.edu</a><br>O: 212-746-6305<br>F: 212-746-8690<u></u><u></u></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div><p style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><font style="font-family:Verdana;font-size:11px"><span style="font-family:Verdana"> </span>-----------------------------------------------------------------------------------</font></p><font style="font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none;font-family:Verdana;font-size:11px"></font><p style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><font style="font-family:Verdana;font-size:11px">The information in this communication and any attachment is confidential and intended solely for the attention and use of the named addressee(s). All information and opinions expressed herein are subject to change without notice. This communication is not to be construed as an offer to sell or the solicitation of an offer to buy any security. Any such offer or solicitation can only be made by means of the delivery of a confidential private offering memorandum (which should be carefully reviewed for a complete description of investment strategies and risks). Any reliance one may place on the accuracy or validity of this information is at their own risk. Past performance is not necessarily indicative of the future results of an investment. All figures are estimated and unaudited unless otherwise noted. If you are not the intended recipient, or a person responsible for delivering this to the intended recipient, you are not authorized to and must not disclose, copy, distribute, or retain this message or any part of it. In this case, please notify the sender immediately at<span class="m_389689319029859120Apple-converted-space"> </span><a href="tel:713-333-5440" style="color:purple;text-decoration:underline" target="_blank">713-333-5440</a></font></p></div></blockquote></div><br></div></blockquote></div></div>