<meta http-equiv="Content-Type" content="text/html; charset=utf-8"><div dir="ltr"><div>Hi Jb,</div><div><br></div><div>You have set AccountingStoragePort to 3306 in slurm.conf, which is the MySQL port running on the DBD host.</div><div><br></div><div>AccountingStoragePort is the port for the Slurmdbd service, and not for MySQL.</div><div><br></div><div>Change AccountingStoragePort to 6819 and it should fix your issues.</div><div><br></div><div>I also think you should comment out the lines <br></div><div><br></div><div>AccountingStorageUser=slurm<br>AccountingStoragePass=/run/munge/munge.socket.2</div><div><br></div><div>You shouldn't need those lines<br></div><div><br></div><div>Sean</div><div><br></div><div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature">--<br>Sean Crosby | Senior DevOpsHPC Engineer and HPC Team Lead<br>Research Computing Services | Business Services<br>The University of Melbourne, Victoria 3010 Australia<br><br></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, 5 Apr 2021 at 18:03, Ioannis Botsis <<a href="mailto:ibotsis@isc.tuc.gr">ibotsis@isc.tuc.gr</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div style="overflow-wrap: break-word;" lang="EL"><div><div style="color:rgb(0,0,0);font-size:12px;text-align:left;font-family:Helvetica,Arial,sans-serif"><strong><table style="width:100%;float:left;background-color:lemonchiffon" cellspacing="0" cellpadding="5" border="1">
<tbody>
<tr>
<td><b>UoM notice: </b>External email. Be cautious of links, attachments, or impersonation attempts</td>
</tr>
</tbody>
</table></strong><br></div><hr></div><div class="gmail-m_6011140190744447366WordSection1"><p class="MsoNormal"><span lang="EN-US">Hello everyone,<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">I installed the slurm 19.05.5 from Ubuntu repo,  for the first time in a cluster with 44  identical nodes but I have problem with slurmctld.service<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">When I try to activate slurmctd I get the following messageā€¦<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">fatal: You are running with a database but for some reason we have no TRES from it.  This should only happen if the database is down and you don't have any state files<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><ul style="margin-top:0cm" type="disc"><li class="gmail-m_6011140190744447366MsoListParagraph" style="margin-left:0cm"><span lang="EN-US">Ubuntu 20.04.2 runs on the server and nodes in the exact same version.<u></u><u></u></span></li><li class="gmail-m_6011140190744447366MsoListParagraph" style="margin-left:0cm"><span lang="EN-US">munge 0.5.13 installed from Ubuntu repo running on server and nodes.<u></u><u></u></span></li><li class="gmail-m_6011140190744447366MsoListParagraph" style="margin-left:0cm"><span lang="EN-US">mysql  Ver 8.0.23-0ubuntu0.20.04.1 for Linux on x86_64 ((Ubuntu))  installed from ubuntu repo running on server.<u></u><u></u></span></li></ul><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">slurm.conf is the same on all nodes and on server.<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">slurmd.service is active and running on all nodes without problem.<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">mysql.service is active and running on server.<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">slurmdbd.service is active and running on server (slurm_acct_db created).<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">Find attached slurm.conf <a href="http://slurmdbd.com" target="_blank">slurmdbd.com</a>  and detailed output of slurmctld -Dvvvv  command.<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">Any hint?<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">Thanks in advance<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">jb<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p></div></div>
</blockquote></div>