<div dir="ltr"><div>Completely as an aside, the next question then is 'Aha - but what happens when you have new users on the cluster'</div><div>I am currently working with sssd authentication and with the pam_mkhomedir plugin.</div><div>I guess if an MPI job is launched using ssh then pam_mkhomedir would automatically create the home directory too!</div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On 12 May 2018 at 22:02, John Hearns <span dir="ltr"><<a href="mailto:hearnsj@googlemail.com" target="_blank">hearnsj@googlemail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>Well I DID say that you need 'what looks like a home directory'.</div><div>So yes indeed you prove, correctly, that this works just fine!</div></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On 12 May 2018 at 20:17, Eric F. Alemany <span dir="ltr"><<a href="mailto:ealemany@stanford.edu" target="_blank">ealemany@stanford.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">



<div dir="auto">
<div><br>
Hi John,</div>
<div id="m_-8791496923523011544m_8698201301475456267AppleMailSignature"><br>
</div>
<div id="m_-8791496923523011544m_8698201301475456267AppleMailSignature">No worries at all. I take all ideas, comments and advice with the greatest respect.</div>
<div id="m_-8791496923523011544m_8698201301475456267AppleMailSignature">I know that my questions and knowledge of SULRM/cluster are very basics. I have built very small and simple cluster. This is an opportunity for me to learn at a bigger scale.</div>
<div id="m_-8791496923523011544m_8698201301475456267AppleMailSignature"><br>
</div>
<div id="m_-8791496923523011544m_8698201301475456267AppleMailSignature">Each node has a user home directory because I thought that all users must have the same uid and guid across the nodes.</div>
<div id="m_-8791496923523011544m_8698201301475456267AppleMailSignature">The two users (post-docs) who will use the cluster will only log in to the headnode and install their programs and run their jobs from the headnode.</div>
<div id="m_-8791496923523011544m_8698201301475456267AppleMailSignature"><br>
</div>
<div id="m_-8791496923523011544m_8698201301475456267AppleMailSignature">Thank you for your help.</div>
<div id="m_-8791496923523011544m_8698201301475456267AppleMailSignature"><br>
</div>
<div id="m_-8791496923523011544m_8698201301475456267AppleMailSignature">Best,</div>
<div id="m_-8791496923523011544m_8698201301475456267AppleMailSignature">Eric</div>
<div id="m_-8791496923523011544m_8698201301475456267AppleMailSignature"><br>
</div>
<div id="m_-8791496923523011544m_8698201301475456267AppleMailSignature">
<div style="direction:inherit"><span style="text-align:-webkit-auto;background-color:rgba(255,255,255,0)">._____________________________<wbr>______________________________<wbr>______________________________<wbr>____________</span></div>
<div style="text-align:-webkit-auto;word-wrap:break-word">
<div><span style="background-color:rgba(255,255,255,0)"><br>
</span></div><span>
<span style="background-color:rgba(255,255,255,0)"><b>
<div><b style="text-align:-webkit-auto">Eric F.  Alemany</b></div>
</b>
<div><i style="text-align:-webkit-auto">System Administrator for Research</i></div>
</span>
<div><span style="background-color:rgba(255,255,255,0)"><br>
</span></div>
<div><span style="text-align:-webkit-auto;background-color:rgba(255,255,255,0)">Division of Radiation & Cancer  Biology</span></div>
<div><span style="text-align:-webkit-auto;background-color:rgba(255,255,255,0)">Department of Radiation Oncology</span></div>
<div><span style="background-color:rgba(255,255,255,0)"><br>
</span></div>
<div><span style="text-align:-webkit-auto;background-color:rgba(255,255,255,0)">Stanford University School of Medicine</span></div>
<div><span style="text-align:-webkit-auto;background-color:rgba(255,255,255,0)">Stanford, California 94305</span></div>
<div><span style="background-color:rgba(255,255,255,0)"><br>
</span></div>
<div><span style="background-color:rgba(255,255,255,0)"><font style="text-align:-webkit-auto">Tel:</font><a dir="ltr" href="tel:1-650-498-7969" target="_blank">1-650-498-7969</a><font style="text-align:-webkit-auto"> 
 No Texting</font></span></div>
<div><span style="background-color:rgba(255,255,255,0)"><font style="text-align:-webkit-auto">Fax:</font><a dir="ltr" href="tel:1-650-723-7382" target="_blank">1-650-723-7382</a></span></div>
</span></div>
</div>
<div><br><span>
On May 12, 2018, at 00:08, John Hearns <<a href="mailto:hearnsj@googlemail.com" target="_blank">hearnsj@googlemail.com</a>> wrote:<br>
<br>
</span></div><div><div class="m_-8791496923523011544h5">
<blockquote type="cite">
<div>
<div dir="ltr">
<div>Eric, I'm sorry to be a little prickly here.</div>
<div>Each node has an independent home directory for the user?</div>
<div>How then do applications update dot files?</div>
<div>How then would as a for instance do the users edit the .bashrc file to bring Anaconda into their paths?</div>
<div><br>
</div>
<div>Beofre anyone says it, a proper Modules system is the way forward.</div>
<div>But I know that when you install Anaconda as a user it adds the path to your .bashrc</div>
<div>Which fouls up Gnomes dbus daemon, which is another tale.</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
</div>
<div class="gmail_extra"><br>
<div class="gmail_quote">On 12 May 2018 at 07:09, Eric F. Alemany <span dir="ltr">
<<a href="mailto:ealemany@stanford.edu" target="_blank">ealemany@stanford.edu</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div style="word-wrap:break-word">Hi Chris,
<div><br>
</div>
<div>Thank you for your comments. I will look at Easybuild. There are quite a few options to automate the creation of software modules.</div>
<div><br>
</div>
<div>I will be doing lots of reading this week-end.</div>
<div><br>
</div>
<div>By the way, i signed up to the Beowulf mailing list.</div>
<div><br>
</div>
<div>Thank you,</div>
<div><br>
</div>
<div>Eric</div>
<div><span>
<div>
<div style="color:rgb(0,0,0);letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word">
<div style="color:rgb(0,0,0);letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word">
<div style="text-align:-webkit-auto;word-wrap:break-word">
<div><span style="text-align:-webkit-auto;background-color:rgba(255,255,255,0)">______________________________<wbr>______________________________<wbr>______________________________<wbr>___________</span></div>
<div><span style="background-color:rgba(255,255,255,0)"><br>
</span></div>
<span style="background-color:rgba(255,255,255,0)"><b>
<div><b style="text-align:-webkit-auto">Eric F.  Alemany</b></div>
</b>
<div><i style="text-align:-webkit-auto">System Administrator for Research</i></div>
</span>
<div><span style="background-color:rgba(255,255,255,0)"><br>
</span></div>
<div><span style="text-align:-webkit-auto;background-color:rgba(255,255,255,0)">Division of Radiation & Cancer  Biology</span></div>
<div><span style="text-align:-webkit-auto;background-color:rgba(255,255,255,0)">Department of Radiation Oncology</span></div>
<div><span style="background-color:rgba(255,255,255,0)"><br>
</span></div>
<div><span style="text-align:-webkit-auto;background-color:rgba(255,255,255,0)">Stanford University School of Medicine</span></div>
<div><span style="text-align:-webkit-auto;background-color:rgba(255,255,255,0)">Stanford, California 94305</span></div>
<div><span style="background-color:rgba(255,255,255,0)"><br>
</span></div>
<div><span style="background-color:rgba(255,255,255,0)"><font style="text-align:-webkit-auto">Tel:</font><a style="text-align:-webkit-auto" href="tel:1-650-498-7969" target="_blank">1-650-498-7969</a><font style="text-align:-webkit-auto">  No Texting</font></span></div>
<div><span style="background-color:rgba(255,255,255,0)"><font style="text-align:-webkit-auto">Fax:</font><a style="text-align:-webkit-auto" href="tel:1-650-723-7382" target="_blank">1-650-723-7382</a></span></div>
<div><br>
</div>
</div>
<div style="word-wrap:break-word"><font style="background-color:rgba(255,255,255,0)"></font></div>
</div>
</div>
<br class="m_-8791496923523011544m_8698201301475456267m_-887417654980530606Apple-interchange-newline">
</div>
<br>
</span>
<div>
<div class="m_-8791496923523011544m_8698201301475456267h5">
<div>
<blockquote type="cite">
<div>On May 11, 2018, at 12:56 AM, Chris Samuel <<a href="mailto:chris@csamuel.org" target="_blank">chris@csamuel.org</a>> wrote:</div>
<br class="m_-8791496923523011544m_8698201301475456267m_-887417654980530606Apple-interchange-newline">
<div>
<div>On Friday, 11 May 2018 5:11:38 PM AEST John Hearns wrote:<br>
<br>
<blockquote type="cite">Eric, my advice would be to definitely learn the Modules system and<br>
implement modules for your users.<br>
</blockquote>
<br>
I will echo that, and the suggestion of shared storage (we use our Lustre <br>
filesystem for that).  I would also suggest looking at a system to help you <br>
automate building of software packages.   Not only does this help replicate <br>
builds, but it also gives you access to the community who write the recipes <br>
for them - and that itself can be very valuable.<br>
<br>
We use Easybuild (which also automates the creation of software modules - and <br>
I would suggest using the Lmod system for that):<br>
<br>
<a href="https://easybuilders.github.io/easybuild/" target="_blank">https://easybuilders.github.io<wbr>/easybuild/</a><br>
<br>
But there's also Spack too:<br>
<br>
<a href="https://spack.io/" target="_blank">https://spack.io/</a><br>
<br>
As another resource (as we are going off topic from Slurm here), I would <br>
suggest the Beowulf list as a mailing list that deals with Linux based HPC <br>
systems of many different scales.  Disclosure: I now caretake the list, but <br>
it's been going since the 1990s.<br>
<br>
<a href="http://beowulf.org/" target="_blank">http://beowulf.org/</a><br>
<br>
All the best!<br>
Chris<br>
-- <br>
Chris Samuel  :  <a href="http://www.csamuel.org/" target="_blank">http://www.csamuel.org/</a>  :  Melbourne, VIC<br>
<br>
<br>
</div>
</div>
</blockquote>
</div>
<br>
</div>
</div>
</div>
</div>
</blockquote>
</div>
<br>
</div>
</div>
</blockquote>
</div></div></div>

</blockquote></div><br></div>
</div></div></blockquote></div><br></div>