<div dir="ltr"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">If that 32 GB is main system RAM, and not GPU RAM, then yes. Since our GPU nodes are over-provisioned in terms of both RAM and CPU, we end up using the excess resources for non-GPU jobs.<br></blockquote><div><br></div><div>No it's GPU RAM</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
If that 32 GB is GPU RAM, then I have no experience with that, but I suspect MPS would be required.</blockquote><div dir="ltr"><br></div><div>OK so does SLURM support MPS and if so what version? Would we need to enable cons_tres and use, e.g., --mem-per-gpu?</div><div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Feb 27, 2020 at 12:46 PM Renfro, Michael <<a href="mailto:Renfro@tntech.edu">Renfro@tntech.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">If that 32 GB is main system RAM, and not GPU RAM, then yes. Since our GPU nodes are over-provisioned in terms of both RAM and CPU, we end up using the excess resources for non-GPU jobs.<br>
<br>
If that 32 GB is GPU RAM, then I have no experience with that, but I suspect MPS would be required.<br>
<br>
> On Feb 27, 2020, at 11:14 AM, Robert Kudyba <<a href="mailto:rkudyba@fordham.edu" target="_blank">rkudyba@fordham.edu</a>> wrote:<br>
> <br>
> So looking at the new cons_tres option at <a href="https://urldefense.proofpoint.com/v2/url?u=https-3A__slurm.schedmd.com_SLUG19_GPU-5FScheduling-5Fand-5FCons-5FTres.pdf&d=DwIFAg&c=aqMfXOEvEJQh2iQMCb7Wy8l0sPnURkcqADc2guUW8IM&r=X0jL9y0sL4r4iU_qVtR3lLNo4tOL1ry_m7-psV3GejY&m=kiUokcO6jsOTlmQrVWWzmLutg5C_kIEUNEzcEye6pkQ&s=SB-TTKR1B3MGmXXHiDzz9OwguSjQdp2LaOTyJFfpep8&e=" rel="noreferrer" target="_blank">https://urldefense.proofpoint.com/v2/url?u=https-3A__slurm.schedmd.com_SLUG19_GPU-5FScheduling-5Fand-5FCons-5FTres.pdf&d=DwIFAg&c=aqMfXOEvEJQh2iQMCb7Wy8l0sPnURkcqADc2guUW8IM&r=X0jL9y0sL4r4iU_qVtR3lLNo4tOL1ry_m7-psV3GejY&m=kiUokcO6jsOTlmQrVWWzmLutg5C_kIEUNEzcEye6pkQ&s=SB-TTKR1B3MGmXXHiDzz9OwguSjQdp2LaOTyJFfpep8&e=</a> , would we be able to use, e.g., --mem-per-gpu= Memory per allocated GPU, and it a user allocated --mem-per-gpu=8, and the V100 we have is 32 GB, will subsequent jobs be able to use the remaining 24 GB?<br>
<br>
<br>
</blockquote></div></div>