<div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-family:tahoma,sans-serif">Excuse me, I have confused with that.</div><div class="gmail_default" style="font-family:tahoma,sans-serif">While the cgroup value is 68GB, I run on terminal and see the VSZ is about 80GB and the program runs normally.</div><div class="gmail_default" style="font-family:tahoma,sans-serif">However, with slurm on that node, I can not run.</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">Why on terminal I can run, but I can not run via slurm?</div><div class="gmail_default" style="font-family:tahoma,sans-serif">I wonder if slurm gets the right value from kernel's cgroup.</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">I would like to locally solve the problem for blast and I am not seeking a system wide solution right now.</div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br clear="all"></div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><font face="tahoma,sans-serif">Regards,<br>Mahmood</font><br><br><br></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Jan 24, 2020 at 8:45 PM Mark Hahn <<a href="mailto:hahn@mcmaster.ca">hahn@mcmaster.ca</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
of course not.  "usage_in_bytes" is an output parameter.<br>
your issue is that Slurm is setting at least some of the input<br>
controls such as memory.memsw.limit_in_bytes.  if you want to fight<br>
with Slurm, you could set the memory.memsw.limit_in_bytes value on <br>
a "live" cgroup.  (note also that above you're referring to the base<br>
cgroup, not the cgroup for your job.)  of course, manually fighting<br>
Slurm is a Fairly Bad Idea.<br>
<br>
you should read the documentation on cgroups to understand how these work.<br>
memsw basically corresponds to VSZ in ps, whereas mem corresponds with RSS.<br>
<br>
regards, mark hahn.<br>
<br>
</blockquote></div></div>