<div dir="ltr"><div>Luke,</div><div><br></div><div>Thanks again, I'll have a look at your links here. I think I'm going to have to go and compile slurm from source. Hopefully it goes better than it did last time!</div><div><br></div><div>I'm just trying to get myself a functional test cluster, really. Technically I already have that by logging into my compute node and running things with mpirun and a hostfile defined, but having a scheduler is a good learning experience and makes useability a lot nicer! <br></div><div><br></div><div>Again, I appreciate the help, hopefully I can wrastle this into working.</div><div><br></div><div><br></div><div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr">~Avery Grieve</div><div>They/Them/Theirs please!<br></div><div dir="ltr"><div>University of Michigan</div></div></div></div></div></div></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Dec 10, 2020 at 1:30 PM Luke Yeager <<a href="mailto:lyeager@nvidia.com">lyeager@nvidia.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<div style="overflow-wrap: break-word;" lang="EN-US">
<div class="gmail-m_-2079105432710812713WordSection1">
<p class="MsoNormal">The ubuntu package is here: <a href="https://packages.ubuntu.com/focal/libpmix-dev" target="_blank">
https://packages.ubuntu.com/focal/libpmix-dev</a><u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">Yes, we rewrote the service files (<a href="https://github.com/NVIDIA/nephele-packages/blob/master/slurm/debian/PACKAGE-control.slurmctld.service" target="_blank">see here</a>) and we let debhelper install them to the appropriate location.<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">It seems like you’re wanting to simply get a development build going rather than building packages for distribution. Nonetheless, reading through the packaging files here might help because it shows how to build recent slurm on recent ubuntu/Debian:
<a href="https://github.com/NVIDIA/nephele-packages/tree/master/slurm" target="_blank">https://github.com/NVIDIA/nephele-packages/tree/master/slurm</a>
<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div style="border-color:rgb(225,225,225) currentcolor currentcolor;border-style:solid none none;border-width:1pt medium medium;padding:3pt 0in 0in">
<p class="MsoNormal"><b>From:</b> slurm-users <<a href="mailto:slurm-users-bounces@lists.schedmd.com" target="_blank">slurm-users-bounces@lists.schedmd.com</a>>
<b>On Behalf Of </b>Avery Grieve<br>
<b>Sent:</b> Thursday, December 10, 2020 10:18 AM<br>
<b>To:</b> Slurm User Community List <<a href="mailto:slurm-users@lists.schedmd.com" target="_blank">slurm-users@lists.schedmd.com</a>><br>
<b>Subject:</b> Re: [slurm-users] slurm-wlm package OpenMPI PMIx implementation<u></u><u></u></p>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<table style="background:rgb(255,235,156) none repeat scroll 0% 0%" cellspacing="3" cellpadding="0" border="1">
<tbody>
<tr>
<td style="padding:0.75pt">
<p class="MsoNormal"><b><span style="font-size:7.5pt;font-family:"Verdana",sans-serif;color:black">External email: Use caution opening links or attachments</span></b><span style="font-size:7.5pt;font-family:"Verdana",sans-serif;color:black">
</span><u></u><u></u></p>
</td>
</tr>
</tbody>
</table>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">Hey Luke, <u></u><u></u></p>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Thanks for the response. I should have mentioned I'm on debian. What's the name of the ubuntu package for pmix? I'll see if I can track down the debian equivalent. <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">When you build slurm from scratch you have to place the .service files into /etc/init.d and the daemon files in /etc/systemd/system, right? When I tried building from source it didn't do that for me (even as root). Not sure if intended
 or if I was missing something. <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Thanks<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">-ave<u></u><u></u></p>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">On Thu, Dec 10, 2020, 1:11 PM Luke Yeager <<a href="mailto:lyeager@nvidia.com" target="_blank">lyeager@nvidia.com</a>> wrote:<u></u><u></u></p>
</div>
<blockquote style="border-color:currentcolor currentcolor currentcolor rgb(204,204,204);border-style:none none none solid;border-width:medium medium medium 1pt;padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal">Hi Avery,<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<ul type="disc">
<li class="gmail-m_-2079105432710812713m-3057965264147123133msolistparagraph">
pmix: we just use the standard Ubuntu packages on 20.04. Unfortunately the standard packages on 18.04 are too out of date for us.<u></u><u></u></li><li class="gmail-m_-2079105432710812713m-3057965264147123133msolistparagraph">
openmpi: we build our own, using ./configure --with-pmix=internal …<u></u><u></u></li><li class="gmail-m_-2079105432710812713m-3057965264147123133msolistparagraph">
slurm: we build our own, using ./configure --with-pmix=PATH … (<a href="https://github.com/NVIDIA/nephele-packages/blob/42145aef4bbe2cff335a1fca222766232dab7aa7/slurm/debian/rules#L41" target="_blank">see here</a>)<u></u><u></u></li></ul>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">Then we can set MpiDefault=pmix (<a href="https://github.com/NVIDIA/nephele/blob/1d79977164d5ef1418466bfb322d59d502c18e8f/ansible/roles/slurm/templates/etc/slurm/slurm.conf.default#L87" target="_blank">see
 here</a>) and it works.<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:Consolas">$ srun --mpi=list</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:Consolas">srun: MPI types are...</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:Consolas">srun: cray_shasta</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:Consolas">srun: pmi2</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:Consolas">srun: pmix_v3</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:Consolas">srun: pmix</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:Consolas">srun: none</span><u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">Hope that helps,<u></u><u></u></p>
<p class="MsoNormal">Luke<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<div>
<div style="border-color:rgb(225,225,225) currentcolor currentcolor;border-style:solid none none;border-width:1pt medium medium;padding:3pt 0in 0in">
<p class="MsoNormal"><b>From:</b> slurm-users <<a href="mailto:slurm-users-bounces@lists.schedmd.com" target="_blank">slurm-users-bounces@lists.schedmd.com</a>>
<b>On Behalf Of </b>Avery Grieve<br>
<b>Sent:</b> Thursday, December 10, 2020 7:52 AM<br>
<b>To:</b> <a href="mailto:slurm-users@lists.schedmd.com" target="_blank">slurm-users@lists.schedmd.com</a><br>
<b>Subject:</b> [slurm-users] slurm-wlm package OpenMPI PMIx implementation<u></u><u></u></p>
</div>
</div>
<p class="MsoNormal"> <u></u><u></u></p>
<table style="background:rgb(255,235,156) none repeat scroll 0% 0%" cellspacing="3" cellpadding="0" border="1">
<tbody>
<tr>
<td style="padding:0.75pt">
<p class="MsoNormal"><b><span style="font-size:7.5pt;font-family:"Verdana",sans-serif;color:black">External email: Use caution opening links or attachments</span></b><span style="font-size:7.5pt;font-family:"Verdana",sans-serif;color:black">
</span><u></u><u></u></p>
</td>
</tr>
</tbody>
</table>
<p class="MsoNormal"><span style="color:black"> </span><u></u><u></u></p>
<div>
<div>
<div>
<p class="MsoNormal">Hi Forum,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">I've been putting together an ARM cluster for fun/learning and I've been a bit lost about how to get OpenMPI and slurm to behave together.
<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">I have installed the
<a href="https://packages.debian.org/buster/slurm-wlm" target="_blank">slurm-wlm package
</a>from the Debian apt search and compiled OpenMPI from source on my compute nodes. OpenMPI has been compiled with the option --with-slurm and the configure time log indicates openmpi has pmix v3 built in. I thought that would be enough for slurm and calling
 a job with "srun -n 4 -N1 executable" (with slurm.conf having MpiDefault=pmix_v3) would be enough.
<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Not the case, unfortunately as slurm doesn't have any idea what pmix_v3 means without being compiled against it I guess. I have also attempted to compile openmpi from source with
 the --with-pmi option but the slurm-wlm package doesn't install any of the libraries/headers (pmi.h pmi2.h pmix.h etc). Neither does any of the slurm-llnl develop packages, so I'm at a loss of what to do here.
<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">A few notes: OpenMPI is working across my compute nodes. I'm able to ssh to my compute node and start a job manually with mpirun that executes successfully across the nodes. My
 slurmctld and slurmd daemons work for single thread resource allocation (and presumably OpenMP multithreading, though I haven't tested this).<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Beyond compiling slurm from source (assuming this installs the pmi headers that I can use to build openmpi), which I have tried with no luck on my devices, is there a way to get
 slurm and openmpi to behave together using the precompiled package slurm-wlm?<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Thank you,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<p class="MsoNormal">~Avery Grieve<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">They/Them/Theirs please!<u></u><u></u></p>
</div>
<div>
<div>
<p class="MsoNormal">University of Michigan<u></u><u></u></p>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</div>
</div>

</blockquote></div>