<div dir="ltr">Hi David,<div><br></div><div>I use SaltStack to push out the slurm.conf file to all nodes and do a "scontrol reconfigure" of the slurmd, this makes management much easier across the cluster. You can also do service restarts from one point etc. Avoid NFS mounts for the config, if the mount locks up your screwed.</div><div><br></div><div><a href="https://docs.saltproject.io/en/latest/topics/installation/index.html">https://docs.saltproject.io/en/latest/topics/installation/index.html</a><br></div><div><br></div><div><br></div><div><br></div><div>Sid<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Apr 28, 2021 at 4:37 AM David Henkemeyer <<a href="mailto:david.henkemeyer@gmail.com">david.henkemeyer@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div dir="ltr">Hello,<div><br></div><div>I'm new to Slurm (coming from PBS), and so I will likely have a few questions over the next several weeks, as I work to transition my infrastructure from PBS to Slurm.</div><div><br></div><div>My first question has to do with <b><u>adding nodes to Slurm</u></b>.  According to the FAQ (and other articles I've read), you need to basically shut down slurm, update the slurm.conf file <i><b>on all nodes in the cluster</b></i>, then restart slurm.</div><div><br></div><div>- Why do all nodes need to know about all other nodes?  From what I have read, its Slurm does a checksum comparison of the slurm.conf file across all nodes.  Is this the only reason all nodes need to know about all other nodes? </div><div>- Can I create a symlink that points <sysconfdir>/slurm.conf to a slurm.conf file on an NFS mount point, which is mounted on all the nodes?  This way, I would only need to update a single file, then restart Slurm across the entire cluster.</div><div>- Any additional help/resources for adding/removing nodes to Slurm would be much appreciated.  Perhaps there is a "toolkit" out there to automate some of these operations (which is what I already have for PBS, and will create for Slurm, if something doesn't already exist).</div><div><br></div><div>Thank you all,</div><div><br></div><div>David</div></div>
</div></div>
</blockquote></div>