<div dir="ltr"><div class="gmail_default" style="font-family:tahoma,sans-serif">OK. It takes some time for scontrol to update the values.</div><div class="gmail_default" style="font-family:tahoma,sans-serif">I can now see more free memory as below</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">   RealMemory=120705 AllocMem=1024 FreeMem=115290 Sockets=32 Boards=1</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">Thank you William.</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><font face="tahoma,sans-serif">Regards,<br>Mahmood</font><br><br><br></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Dec 16, 2019 at 7:55 PM Mahmood Naderan <<a href="mailto:mahmood.nt@gmail.com">mahmood.nt@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-family:tahoma,sans-serif">
<pre>>Memory may be being used by jobs running, or tasks outside the control of
>Slurm running, or possibly NFS buffer cache or similar.  You may need to
>start an ssh session on the node and look.</pre>

</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">I checked that. For example, on compute-0-1, I see</div><div class="gmail_default" style="font-family:tahoma,sans-serif">    RealMemory=120705 AllocMem=1024 FreeMem=8442 Sockets=32 Boards=1</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">I then connected to the node and ran "top"</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">    KiB Mem : 12360248+total,  8623376 free,  5197452 used, 10978166+buff/cache</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">I then ran</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">    sync; echo 3 > /proc/sys/vm/drop_caches</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">While "top" shows the caches are deleted</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">    KiB Mem : 12360248+total, 11805062+free,  5202876 used,   348992 buff/cache</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">Still scontrol shows the same as before</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">   RealMemory=120705 AllocMem=1024 FreeMem=8426 Sockets=32 Boards=1   <br></div><div><div dir="ltr"><div dir="ltr"><font face="tahoma,sans-serif"><br></font></div><div dir="ltr"><font face="tahoma,sans-serif"><br></font></div><div dir="ltr"><font face="tahoma,sans-serif">Regards,<br>Mahmood</font><br><br><br></div></div></div></div><br></div>
</blockquote></div>