<meta http-equiv="Content-Type" content="text/html; charset=utf-8"><div dir="ltr"><div>What's the output of</div><div><br></div><div>ss -lntp | grep $(pidof slurmdbd)</div><div><br></div><div>on your dbd host?</div><div><br></div><div>Sean</div><div><br></div><div><div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature">--<br>Sean Crosby | Senior DevOpsHPC Engineer and HPC Team Lead<br>Research Computing Services | Business Services<br>The University of Melbourne, Victoria 3010 Australia<br><br></div></div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, 6 Apr 2021 at 05:00, <<a href="mailto:ibotsis@isc.tuc.gr">ibotsis@isc.tuc.gr</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div style="overflow-wrap: break-word;" lang="EL"><div><div style="color:rgb(0,0,0);font-size:12px;text-align:left;font-family:Helvetica,Arial,sans-serif"><strong><table style="width:100%;float:left;background-color:lemonchiffon" cellspacing="0" cellpadding="5" border="1">
<tbody>
<tr>
<td><b>UoM notice: </b>External email. Be cautious of links, attachments, or impersonation attempts</td>
</tr>
</tbody>
</table></strong><br></div><hr></div><div class="gmail-m_-670956201590953664WordSection1"><p class="MsoNormal"><span lang="EN-US">Hi Sean,<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">10.0.0.100 is the dbd and ctld host with name se01. Firewall is inactive……<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">nc -nz 10.0.0.100 6819 || echo Connection not working<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">give me back …..  Connection not working<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">jb<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><div style="border-color:rgb(225,225,225) currentcolor currentcolor;border-style:solid none none;border-width:1pt medium medium;padding:3pt 0cm 0cm"><p class="MsoNormal"><b><span lang="EN-US">From:</span></b><span lang="EN-US"> slurm-users <<a href="mailto:slurm-users-bounces@lists.schedmd.com" target="_blank">slurm-users-bounces@lists.schedmd.com</a>> <b>On Behalf Of </b>Sean Crosby<br><b>Sent:</b> Monday, April 5, 2021 2:52 PM<br><b>To:</b> Slurm User Community List <<a href="mailto:slurm-users@lists.schedmd.com" target="_blank">slurm-users@lists.schedmd.com</a>><br><b>Subject:</b> Re: [slurm-users] [EXT] slurmctld error<u></u><u></u></span></p></div><p class="MsoNormal"><u></u> <u></u></p><div><div><p class="MsoNormal">The error shows<u></u><u></u></p></div><p class="MsoNormal"><br>slurmctld: debug2: Error connecting slurm stream socket at <a href="http://10.0.0.100:6819" target="_blank">10.0.0.100:6819</a>: Connection refused<u></u><u></u></p><div><p class="MsoNormal">slurmctld: error: slurm_persist_conn_open_without_init: failed to open persistent connection to se01:6819: Connection refused<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">Is 10.0.0.100 the IP address of the host running slurmdbd?<br><br>If so, check the iptables firewall running on that host, and make sure the ctld server can access port 6819 on the dbd host.<br><br>You can check this by running the following from the ctld host (requires the package nmap-ncat installed)<br><br>nc -nz 10.0.0.100 6819 || echo Connection not working<br><br>This will try connecting to port 6819 on the host 10.0.0.100, and output nothing if the connection works, and would output Connection not working otherwise<br><br>I would also test this on the DBD server itself<u></u><u></u></p><pre> <u></u><u></u></pre></div><div><div><div><p class="MsoNormal" style="margin-bottom:12pt">--<br>Sean Crosby | Senior DevOpsHPC Engineer and HPC Team Lead<br>Research Computing Services | Business Services<br>The University of Melbourne, Victoria 3010 Australia<u></u><u></u></p></div></div><p class="MsoNormal"><u></u> <u></u></p></div></div><p class="MsoNormal"><u></u> <u></u></p><div><div><p class="MsoNormal">On Mon, 5 Apr 2021 at 21:00, Ioannis Botsis <<a href="mailto:ibotsis@isc.tuc.gr" target="_blank">ibotsis@isc.tuc.gr</a>> wrote:<u></u><u></u></p></div><blockquote style="border-color:currentcolor currentcolor currentcolor rgb(204,204,204);border-style:none none none solid;border-width:medium medium medium 1pt;padding:0cm 0cm 0cm 6pt;margin-left:4.8pt;margin-right:0cm"><div><div><table style="width:100%;background:lemonchiffon none repeat scroll 0% 0%" width="100%" cellspacing="0" cellpadding="0" border="1"><tbody><tr><td style="padding:3.75pt"><p class="MsoNormal"><b>UoM notice: </b><span style="color:black">External email. Be cautious of links, attachments, or impersonation attempts</span><u></u><u></u></p></td></tr></tbody></table><p class="MsoNormal"><u></u> <u></u></p><div class="MsoNormal" style="text-align:center" align="center"><hr width="100%" size="2" align="center"></div></div><div><p class="MsoNormal"><span lang="EN-US">Hi Sean,</span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US"> </span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US">Thank you for your prompt response,  I made the changes you suggested, slurmctld refuse running……. find attached new slurmctld -Dvvvv</span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US"> </span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US">jb</span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US"> </span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US"> </span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US"> </span><u></u><u></u></p><div style="border-style:solid none none;border-width:1pt medium medium;padding:3pt 0cm 0cm;border-color:currentcolor"><p class="MsoNormal"><b><span lang="EN-US">From:</span></b><span lang="EN-US"> slurm-users <<a href="mailto:slurm-users-bounces@lists.schedmd.com" target="_blank">slurm-users-bounces@lists.schedmd.com</a>> <b>On Behalf Of </b>Sean Crosby<br><b>Sent:</b> Monday, April 5, 2021 11:46 AM<br><b>To:</b> Slurm User Community List <<a href="mailto:slurm-users@lists.schedmd.com" target="_blank">slurm-users@lists.schedmd.com</a>><br><b>Subject:</b> Re: [slurm-users] [EXT] slurmctld error</span><u></u><u></u></p></div><p class="MsoNormal"> <u></u><u></u></p><div><div><p class="MsoNormal">Hi Jb,<u></u><u></u></p></div><div><p class="MsoNormal"> <u></u><u></u></p></div><div><p class="MsoNormal">You have set AccountingStoragePort to 3306 in slurm.conf, which is the MySQL port running on the DBD host.<u></u><u></u></p></div><div><p class="MsoNormal"> <u></u><u></u></p></div><div><p class="MsoNormal">AccountingStoragePort is the port for the Slurmdbd service, and not for MySQL.<u></u><u></u></p></div><div><p class="MsoNormal"> <u></u><u></u></p></div><div><p class="MsoNormal">Change AccountingStoragePort to 6819 and it should fix your issues.<u></u><u></u></p></div><div><p class="MsoNormal"> <u></u><u></u></p></div><div><p class="MsoNormal">I also think you should comment out the lines <u></u><u></u></p></div><div><p class="MsoNormal"> <u></u><u></u></p></div><div><p class="MsoNormal">AccountingStorageUser=slurm<br>AccountingStoragePass=/run/munge/munge.socket.2<u></u><u></u></p></div><div><p class="MsoNormal"> <u></u><u></u></p></div><div><p class="MsoNormal">You shouldn't need those lines<u></u><u></u></p></div><div><p class="MsoNormal"> <u></u><u></u></p></div><div><p class="MsoNormal">Sean<u></u><u></u></p></div><div><p class="MsoNormal"> <u></u><u></u></p></div><div><div><div><p class="MsoNormal" style="margin-bottom:12pt">--<br>Sean Crosby | Senior DevOpsHPC Engineer and HPC Team Lead<br>Research Computing Services | Business Services<br>The University of Melbourne, Victoria 3010 Australia<u></u><u></u></p></div></div><p class="MsoNormal"> <u></u><u></u></p></div></div><p class="MsoNormal"> <u></u><u></u></p><div><div><p class="MsoNormal">On Mon, 5 Apr 2021 at 18:03, Ioannis Botsis <<a href="mailto:ibotsis@isc.tuc.gr" target="_blank">ibotsis@isc.tuc.gr</a>> wrote:<u></u><u></u></p></div><blockquote style="border-style:none none none solid;border-width:medium medium medium 1pt;padding:0cm 0cm 0cm 6pt;margin:5pt 0cm 5pt 4.8pt;border-color:currentcolor currentcolor currentcolor rgb(204,204,204)"><div><div><table style="width:100%;background:lemonchiffon none repeat scroll 0% 0%" width="100%" cellspacing="0" cellpadding="0" border="1"><tbody><tr><td style="padding:3.75pt"><p class="MsoNormal"><b>UoM notice: </b><span style="color:black">External email. Be cautious of links, attachments, or impersonation attempts</span><u></u><u></u></p></td></tr></tbody></table><p class="MsoNormal"> <u></u><u></u></p><div class="MsoNormal" style="text-align:center" align="center"><hr width="100%" size="2" align="center"></div></div><div><p class="MsoNormal"><span lang="EN-US">Hello everyone,</span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US"> </span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US">I installed the slurm 19.05.5 from Ubuntu repo,  for the first time in a cluster with 44  identical nodes but I have problem with slurmctld.service</span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US"> </span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US">When I try to activate slurmctd I get the following message…</span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US"> </span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US">fatal: You are running with a database but for some reason we have no TRES from it.  This should only happen if the database is down and you don't have any state files</span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US"> </span><u></u><u></u></p><ul type="disc"><li class="gmail-m_-670956201590953664gmail-m-4077325966658993958gmail-m6011140190744447366msolistparagraph"><span lang="EN-US">Ubuntu 20.04.2 runs on the server and nodes in the exact same version.</span><u></u><u></u></li><li class="gmail-m_-670956201590953664gmail-m-4077325966658993958gmail-m6011140190744447366msolistparagraph"><span lang="EN-US">munge 0.5.13 installed from Ubuntu repo running on server and nodes.</span><u></u><u></u></li><li class="gmail-m_-670956201590953664gmail-m-4077325966658993958gmail-m6011140190744447366msolistparagraph"><span lang="EN-US">mysql  Ver 8.0.23-0ubuntu0.20.04.1 for Linux on x86_64 ((Ubuntu))  installed from ubuntu repo running on server.</span><u></u><u></u></li></ul><p class="MsoNormal"><span lang="EN-US"> </span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US">slurm.conf is the same on all nodes and on server.</span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US"> </span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US">slurmd.service is active and running on all nodes without problem.</span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US"> </span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US">mysql.service is active and running on server.</span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US">slurmdbd.service is active and running on server (slurm_acct_db created).</span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US"> </span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US">Find attached slurm.conf <a href="http://slurmdbd.com" target="_blank">slurmdbd.com</a>  and detailed output of slurmctld -Dvvvv  command.</span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US"> </span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US">Any hint?</span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US"> </span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US">Thanks in advance</span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US"> </span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US">jb</span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US"> </span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US"> </span><u></u><u></u></p><p class="MsoNormal"><span lang="EN-US"> </span><u></u><u></u></p></div></div></blockquote></div></div></div></blockquote></div></div></div>
</blockquote></div>