
<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">

<style type="text/css" style="display:none;"><!-- P {margin-top:0;margin-bottom:0;} --></style>

</head>

<body dir="ltr">

<div id="divtagdefaultwrapper" style="font-size:12pt;color:#000000;font-family:Calibri,Helvetica,sans-serif;" dir="ltr">

<p>Hi,</p>

<p><br>

</p>

<p>    I am running slurm version 19.05.0 and openmpi version 3.1.4. Openmpi is configured with pmi2 from slurm. Whenever I tried to run an mpi job with more than 1 node, I have this error message: </p>

<div>srun: error: mpi/pmi2: failed to send temp kvs to compute nodes</div>

<div>srun: Job step aborted: Waiting up to 32 seconds for job step to finish.</div>

<div><br>

</div>

<div>then the job just got killed off. If I only use 1 node, then the job will run as normal.</div>

<div><br>

</div>

<div>In my sbatch script I use srun --mpi=pmi2 mpi_job.</div>

<div><br>

</div>

<div>    Has anyone else encountered this problem but was able to fix it? Please help.</div>

<div><br>

</div>

<div>Thanks,</div>

<div>Lei</div>

<p></p>

</div>

</body>

</html>