<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<style type="text/css" style="display:none;"><!-- P {margin-top:0;margin-bottom:0;} --></style>
</head>
<body dir="ltr">
<div id="divtagdefaultwrapper" style="font-size:12pt;color:#000000;font-family:Calibri,Helvetica,sans-serif;" dir="ltr">
<p>Hi,</p>
<p><br>
</p>
<p>    I am running slurm version 19.05.0 and openmpi version 3.1.4. Openmpi is configured with pmi2 from slurm. Whenever I tried to run an mpi job with more than 1 node, I have this error message: </p>
<div>srun: error: mpi/pmi2: failed to send temp kvs to compute nodes</div>
<div>srun: Job step aborted: Waiting up to 32 seconds for job step to finish.</div>
<div><br>
</div>
<div>then the job just got killed off. If I only use 1 node, then the job will run as normal.</div>
<div><br>
</div>
<div>In my sbatch script I use srun --mpi=pmi2 mpi_job.</div>
<div><br>
</div>
<div>    Has anyone else encountered this problem but was able to fix it? Please help.</div>
<div><br>
</div>
<div>Thanks,</div>
<div>Lei</div>
<p></p>
</div>
</body>
</html>