<div dir="ltr"><div>Good afternoon,</div><div><br></div><div>I have a very simple two node cluster using Warewulf 4.3. I was following some instructions on how to install the OpenHPC Slurm binaries (server and client). I booted the compute node and the Slurm Server says it's in an unknown state. This hasn't happened to me before but I would like to debug the problem.</div><div><br></div><div>I checked the services on the S:urm server (head node)</div><div><br></div><div>$ systemctl status munge<br>● munge.service - MUNGE authentication service<br>   Loaded: loaded (/usr/lib/systemd/system/munge.service; enabled; vendor preset: disabled)<br>   Active: active (running) since Thu 2022-12-08 13:12:10 EST; 4min 42s ago<br>     Docs: man:munged(8)<br>  Process: 1140 ExecStart=/usr/sbin/munged (code=exited, status=0/SUCCESS)<br> Main PID: 1182 (munged)<br>    Tasks: 4 (limit: 48440)<br>   Memory: 1.2M<br>   CGroup: /system.slice/munge.service<br>           └─1182 /usr/sbin/munged<br><br>Dec 08 13:12:10 localhost.localdomain systemd[1]: Starting MUNGE authentication service...<br>Dec 08 13:12:10 localhost.localdomain systemd[1]: Started MUNGE authentication service.<br><br>$ systemctl status slurmctld<br>● slurmctld.service - Slurm controller daemon<br>   Loaded: loaded (/usr/lib/systemd/system/slurmctld.service; enabled; vendor preset: disabled)<br>   Active: active (running) since Thu 2022-12-08 13:12:17 EST; 4min 56s ago<br> Main PID: 1518 (slurmctld)<br>    Tasks: 10<br>   Memory: 23.0M<br>   CGroup: /system.slice/slurmctld.service<br>           ├─1518 /usr/sbin/slurmctld -D -s<br>           └─1555 slurmctld: slurmscriptd<br><br>Dec 08 13:12:17 localhost.localdomain systemd[1]: Started Slurm controller daemon.<br>Dec 08 13:12:17 localhost.localdomain slurmctld[1518]: slurmctld: No parameter for mcs plugin, de><br>Dec 08 13:12:17 localhost.localdomain slurmctld[1518]: slurmctld: mcs: MCSParameters = (null). on><br>Dec 08 13:13:17 localhost.localdomain slurmctld[1518]: slurmctld: SchedulerParameters=default_que></div><div><br></div><div><br></div><div><br></div><div>I then booted the compute node and checked the services there:</div><div><br></div><div>systemctl status munge<br>● munge.service - MUNGE authentication service<br>   Loaded: loaded (/usr/lib/systemd/system/munge.service; enabled; vendor preset: disabled)<br>   Active: active (running) since Thu 2022-12-08 18:14:53 UTC; 3min 24s ago<br>     Docs: man:munged(8)<br>  Process: 786 ExecStart=/usr/sbin/munged (code=exited, status=0/SUCCESS)<br> Main PID: 804 (munged)<br>    Tasks: 4 (limit: 26213)<br>   Memory: 940.0K<br>   CGroup: /system.slice/munge.service<br>           └─804 /usr/sbin/munged<br><br>Dec 08 18:14:53 n0001 systemd[1]: Starting MUNGE authentication service...<br>Dec 08 18:14:53 n0001 systemd[1]: Started MUNGE authentication service.<br><br>systemctl status slurmd<br>● slurmd.service - Slurm node daemon<br>   Loaded: loaded (/usr/lib/systemd/system/slurmd.service; enabled; vendor preset: disabled)<br>   Active: failed (Result: exit-code) since Thu 2022-12-08 18:15:53 UTC; 2min 40s ago<br>  Process: 897 ExecStart=/usr/sbin/slurmd -D -s $SLURMD_OPTIONS (code=exited, status=1/FAILURE)<br> Main PID: 897 (code=exited, status=1/FAILURE)<br><br>Dec 08 18:15:44 n0001 systemd[1]: Started Slurm node daemon.<br>Dec 08 18:15:53 n0001 systemd[1]: slurmd.service: Main process exited, code=exited, status=1/FAIL><br>Dec 08 18:15:53 n0001 systemd[1]: slurmd.service: Failed with result 'exit-code'.<br><br># systemctl status slurmd<br>● slurmd.service - Slurm node daemon<br>   Loaded: loaded (/usr/lib/systemd/system/slurmd.service; enabled; vendor preset: disabled)<br>   Active: active (running) since Thu 2022-12-08 18:19:04 UTC; 5s ago<br> Main PID: 996 (slurmd)<br>    Tasks: 2<br>   Memory: 1012.0K<br>   CGroup: /system.slice/slurmd.service<br>           ├─996 /usr/sbin/slurmd -D -s --conf-server localhost<br>           └─997 /usr/sbin/slurmd -D -s --conf-server localhost<br><br>Dec 08 18:19:04 n0001 systemd[1]: Started Slurm node daemon.</div><div><br></div><div><br></div><div><br></div><div><br></div><div>On the SLurm server I checked the queue and "sinfo -a" and found the following:</div><div><br></div><div><span style="font-family:monospace">$ squeue<br>             JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)<br>$ sinfo -a<br>PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST<br>normal*      up 1-00:00:00      1   unk* n0001</span><br></div><div><br></div><div><br></div><div>After a few moments (less than a minute - maybe 20-30 seconds, slurmd on the compute node fails. WHen I checked the service I saw this:</div><div><br></div><div><span style="font-family:monospace">$ systemctl status slurmd<br>● slurmd.service - Slurm node daemon<br>   Loaded: loaded (/usr/lib/systemd/system/slurmd.service; enabled; vendor preset: disabled)<br>   Active: failed (Result: exit-code) since Thu 2022-12-08 18:19:13 UTC; 10min ago<br>  Process: 996 ExecStart=/usr/sbin/slurmd -D -s $SLURMD_OPTIONS (code=exited, status=1/FAILURE)<br> Main PID: 996 (code=exited, status=1/FAILURE)<br><br>Dec 08 18:19:04 n0001 systemd[1]: Started Slurm node daemon.<br>Dec 08 18:19:13 n0001 systemd[1]: slurmd.service: Main process exited, code=exited, status=1/FAIL><br>Dec 08 18:19:13 n0001 systemd[1]: slurmd.service: Failed with result 'exit-code'.</span></div><div><br></div><div><br></div><div>Below are the logs for the slurm server for today (I rebooted the compute twice)</div><div><br></div><div>[2022-12-08T13:12:17.343] error: chdir(/var/log): Permission denied<br>[2022-12-08T13:12:17.343] error: Configured MailProg is invalid<br>[2022-12-08T13:12:17.347] slurmctld version 22.05.2 started on cluster cluster<br>[2022-12-08T13:12:17.371] No memory enforcing mechanism configured.<br>[2022-12-08T13:12:17.374] Recovered state of 1 nodes<br>[2022-12-08T13:12:17.374] Recovered JobId=3 Assoc=0<br>[2022-12-08T13:12:17.374] Recovered JobId=4 Assoc=0<br>[2022-12-08T13:12:17.374] Recovered information about 2 jobs<br>[2022-12-08T13:12:17.375] select/cons_tres: part_data_create_array: select/cons_tres: preparing for 1 partitions<br>[2022-12-08T13:12:17.375] Recovered state of 0 reservations<br>[2022-12-08T13:12:17.375] read_slurm_conf: backup_controller not specified<br>[2022-12-08T13:12:17.376] select/cons_tres: select_p_reconfigure: select/cons_tres: reconfigure<br>[2022-12-08T13:12:17.376] select/cons_tres: part_data_create_array: select/cons_tres: preparing for 1 partitions<br>[2022-12-08T13:12:17.376] Running as primary controller<br>[2022-12-08T13:12:17.376] No parameter for mcs plugin, default values set<br>[2022-12-08T13:12:17.376] mcs: MCSParameters = (null). ondemand set.<br>[2022-12-08T13:13:17.471] SchedulerParameters=default_queue_depth=100,max_rpc_cnt=0,max_sched_time=2,partition_job_depth=0,sched_max_job_start=0,sched_min_interval=2<br>[2022-12-08T13:17:17.940] error: Nodes n0001 not responding<br>[2022-12-08T13:22:17.533] error: Nodes n0001 not responding<br>[2022-12-08T13:27:17.048] error: Nodes n0001 not responding</div><div><br></div><div>There are no logs on the compute node.</div><div><br></div><div>Any suggestions where to start looking? I think I'm seeing the trees and not the forest :)<br></div><div><br></div><div>Thanks!</div><div><br></div><div>Jeff</div><div><br></div><div>P.S Here's some relevant features from the server slurm.conf</div><div><br></div><div><br></div><div># slurm.conf file generated by configurator.html.<br># Put this file on all nodes of your cluster.<br># See the slurm.conf man page for more information.<br>#<br>ClusterName=cluster<br>SlurmctldHost=localhost<br>#SlurmctldHost=</div><div>...</div><div># slurm.conf file generated by configurator.html.<br># Put this file on all nodes of your cluster.<br># See the slurm.conf man page for more information.<br>#<br>ClusterName=cluster<br>SlurmctldHost=localhost<br>#SlurmctldHost=<br></div><div><br></div><div><br></div><div><br></div><div><br></div><div>Here's some relevant parts of slurm.conf on the client node:</div><div><br></div><div><br></div><div><br></div><div><br></div><div># slurm.conf file generated by configurator.html.<br># Put this file on all nodes of your cluster.<br># See the slurm.conf man page for more information.<br>#<br>ClusterName=cluster<br>SlurmctldHost=localhost<br>#SlurmctldHost=</div><div>...</div><div># slurm.conf file generated by configurator.html.<br># Put this file on all nodes of your cluster.<br># See the slurm.conf man page for more information.<br>#<br>ClusterName=cluster<br>SlurmctldHost=localhost<br>#SlurmctldHost=</div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div></div>