<div dir="ltr">The output is certainly not enough to judge, but my first guess would be that your MPI (what is it btw?) is not support PMI that is enabled in Slurm.<div>Note also, that Slurm now supports 3 ways of doing PMI and from the info that you have provided it is not clear which one you are using.<br></div><div>To judge with a reasonable level of confidence the following info is needed:</div><div>* Which MPI implementation is used.</div><div>* What version.</div><div>* How it was configured.</div><div>If you do not provide "--mpi" option to srun you are using PMI1 which is implemented in Slurm core library. There are other implementations available:</div><div>* PMI2 plugin ("srun --mpi=pmi2")</div><div>* PMIx plugin ("srun --mpi=pmix")</div><div>Those are more performant options but need some additional work: for PMI2 plugin you need to install the library from contrib/pmi2, for PMIx you need to build slurm --with-pmix=<path-to-pix>.</div></div><div class="gmail_extra"><br><div class="gmail_quote">2018-04-13 8:33 GMT-07:00 Mahmood Naderan <span dir="ltr"><<a href="mailto:mahmood.nt@gmail.com" target="_blank">mahmood.nt@gmail.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">I tried with one of the NAS benchmarks (BT) with 121 threads since the<br>
number of cores should be square. With srun, I get<br>
<br>
 WARNING: compiled for   121 processes<br>
 Number of active processes:     1<br>
<br>
           0           1         408         408         408<br>
  Problem size too big for compiled array sizes<br>
<br>
<br>
<br>
<br>
However, with mpirun, it seems to be fine<br>
<br>
 Number of active processes:   121<br>
<br>
 Time step    1<br>
 Time step   20<br>
<br>
<br>
Regards,<br>
Mahmood<br>
<div class="HOEnZb"><div class="h5"><br>
<br>
<br>
<br>
On Fri, Apr 13, 2018 at 5:46 PM, Chris Samuel <<a href="mailto:chris@csamuel.org">chris@csamuel.org</a>> wrote:<br>
> On 13/4/18 7:19 pm, Mahmood Naderan wrote:<br>
><br>
>> I see some old posts on the web about performance comparison of srun vs.<br>
>> mpirun. Is that still an issue?<br>
><br>
><br>
> Just running an MPI hello world program is not going to test that.<br>
><br>
> You need to run an actual application that is doing a lot of<br>
> computation and communications instead.  Something like NAMD<br>
> or a synthetic benchmark like HPL.<br>
><br>
> All the best,<br>
> Chris<br>
> --<br>
>  Chris Samuel  :  <a href="http://www.csamuel.org/" rel="noreferrer" target="_blank">http://www.csamuel.org/</a>  :  Melbourne, VIC<br>
><br>
<br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature">С Уважением, Поляков Артем Юрьевич<br>Best regards, Artem Y. Polyakov</div>
</div>