
<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=Windows-1252">

<style type="text/css" style="display:none;"> P {margin-top:0;margin-bottom:0;} </style>

</head>

<body dir="ltr">

<span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"></span>

<div style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

<span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; color: rgb(0, 0, 0);">slurmctld runs as the user slurm, whereas slurmd runs as root.</span></div>

<div style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

<span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; color: rgb(0, 0, 0);"><br>

</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">Make sure the permissions on /app/slurm-24.0.8/lib/slurm allow the user slurm to read the files</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">e.g. you could do (as root)</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">sudo -u slurm ls /app/slurm-24.0.8/lib/slurm</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></div>

<div class="elementToProof"><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">and see if the slurm user can read the directory (as well as the libraries within it)<br>

</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"><br>

</span></div>

<div><span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">Sean</span></div>

<span style="font-family: Aptos, Aptos_EmbeddedFont, Aptos_MSFontService, Calibri, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);"></span>

<div id="appendonsend"></div>

<hr style="display:inline-block;width:98%" tabindex="-1">

<div id="divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" style="font-size:11pt" color="#000000"><b>From:</b> slurm-users <slurm-users-bounces@lists.schedmd.com> on behalf of Jesse Aiton <jesse@clarkeconsulting.com><br>

<b>Sent:</b> Wednesday, 24 January 2024 10:14<br>

<b>To:</b> slurm-users@lists.schedmd.com <slurm-users@lists.schedmd.com><br>

<b>Subject:</b> [EXT] [slurm-users] error: Couldn't find the specified plugin name for cred/munge looking at all files</font>

<div> </div>

</div>

<div class="BodyFragment"><font size="2"><span style="font-size:11pt;">

<div class="PlainText">External email: Please exercise caution<br>

<br>

Hello Slurm Folks,<br>

<br>

I have a weird issue where on the same server, which acts as both a controller and a node, slurmctld can’t find cred_munge.so<br>

<br>

slurmctld: debug3: Trying to load plugin /app/slurm-24.0.8/lib/slurm/cred_munge.so<br>

slurmctld: debug4: /app/slurm-24.0.8/lib/slurm/cred_munge.so: Does not exist or not a regular file.<br>

slurmctld: error: Couldn't find the specified plugin name for cred/munge looking at all files<br>

slurmctld: error: cannot open plugin directory /app/slurm-24.0.8/lib/slurm<br>

slurmctld: error: cannot find cred plugin for cred/munge<br>

slurmctld: error: cannot create cred context for cred/munge<br>

slurmctld: fatal: failed to initialize cred plugin<br>

<br>

But slurmd can:<br>

<br>

slurmd: debug3: Trying to load plugin /app/slurm-24.0.8/lib/slurm/cred_munge.so<br>

slurmd: debug3: plugin_load_from_file->_verify_syms: found Slurm plugin name:Munge credential signature plugin type:cred/munge version:0x180800<br>

slurmd: cred/munge: init: Munge credential signature plugin loaded<br>

slurmd: debug3: Success.<br>

<br>

This is on Ubuntu 20.04 and happens both with Slurm 20.11.09 and 24.0.8 <br>

<br>

Thank you,<br>

<br>

Jesse<br>

<br>

<br>

# slurm.conf file generated by configurator easy.html.<br>

# Put this file on all nodes of your cluster.<br>

# See the slurm.conf man page for more information.<br>

#<br>

ClusterName=prod-cluster<br>

SlurmctldHost=controller<br>

#<br>

#MailProg=/bin/mail<br>

#MpiDefault=<br>

#MpiParams=ports=#-#<br>

ProctrackType=proctrack/cgroup<br>

ReturnToService=1<br>

SlurmctldPidFile=/var/run/slurmctld.pid<br>

#SlurmctldPort=6817<br>

SlurmdPidFile=/var/run/slurmd.pid<br>

#SlurmdPort=6818<br>

SlurmdSpoolDir=/var/spool/slurmd<br>

SlurmUser=slurm<br>

#SlurmdUser=root<br>

StateSaveLocation=/var/spool/slurmctld<br>

#SwitchType=<br>

TaskPlugin=task/affinity,task/cgroup<br>

#<br>

#<br>

# TIMERS<br>

#KillWait=30<br>

#MinJobAge=300<br>

#SlurmctldTimeout=120<br>

#SlurmdTimeout=300<br>

#<br>

#<br>

# SCHEDULING<br>

SchedulerType=sched/backfill<br>

SelectType=select/cons_tres<br>

#<br>

#<br>

# LOGGING AND ACCOUNTING<br>

#AccountingStorageType=<br>

#JobAcctGatherFrequency=30<br>

#JobAcctGatherType=<br>

#SlurmctldDebug=info<br>

SlurmctldLogFile=/var/log/slurmctld.log<br>

#SlurmdDebug=info<br>

SlurmdLogFile=/var/log/slurmd.log<br>

#<br>

#<br>

# COMPUTE NODES<br>

NodeName=controller CPUs=1 State=UNKNOWN<br>

NodeName=node CPUs=1 State=UNKNOWN<br>

PartitionName=prod-part Nodes=ALL Default=YES MaxTime=INFINITE State=UP<br>

<br>

<br>

</div>

</span></font></div>

</body>

</html>