<div dir="ltr">You can probably have a job submit lua script that looks at the --gpus flag (and maybe the --gres=gpu:* flag as well) and force a GPU type.  A bit complicated, and not sure if it will catch srun submissions.  I don't think this is flexible enough to ensure they get the least powerful GPU among all idle GPUs, but you can force it to default to the lowest GPU on the cluster --- if nothing else this will force users who want more powerful GPUs to explicitly give a GPU type<br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Mar 29, 2023 at 2:31 PM <<a href="mailto:collin.m.mccarthy@gmail.com">collin.m.mccarthy@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class="msg1459138301686343925"><div style="overflow-wrap: break-word;" lang="EN-US"><div class="m_1459138301686343925WordSection1"><p class="MsoNormal">Hello,<u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">Apologies if this is in the docs but I couldn’t find it anywhere. <u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">I’ve been using <span class="m_1459138301686343925SpellE">Slurm</span> to run a small 7-node cluster in a research lab for a couple of years now (I’m a PhD student). A couple of our nodes have heterogenous GPU models. One in particular has quite a few: 2x NVIDIA A100s, 1x NVIDIA 3090, 2x NVIDIA GV100 w/ <span class="m_1459138301686343925SpellE">NVLink</span>, 1x AMD MI100, 2x AMD MI200. This makes things a bit challenging but I need to work with what I have. <u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><ol style="margin-top:0in" type="1" start="1"><li class="m_1459138301686343925MsoListParagraph" style="margin-left:0in">I’ve only been able to set this up previously on <span class="m_1459138301686343925SpellE">Slurm</span> 20.02 by “ignoring” the AMDs and just specifying the NVIDIA GPUs. That worked when we had one or two people using the AMD GPUs and they could coordinate between themselves. But now, we have more people interested. I’m upgrading <span class="m_1459138301686343925SpellE">Slurm</span> to 23.02 in hopes that might fix some of the challenges, but should this be possible? Ideally I would like to have AutoDetect=<span class="m_1459138301686343925SpellE">nvml</span> and AutoDetect=<span class="m_1459138301686343925SpellE">rsmi</span> both on. If it’s not I’ll shuffle GPUs around to make this node NVIDIA-only.<u></u><u></u></li><li class="m_1459138301686343925MsoListParagraph" style="margin-left:0in">I want everyone to allocate GPUs with --<span class="m_1459138301686343925SpellE">gpus</span>=<type>:<num> instead of --<span class="m_1459138301686343925SpellE">gpus</span>=<num>, so they don’t “block” a nice GPU like an A100 when they really wanted any-old GPU on the machine like a GV100 or 3090. Can I force people to specify a GPU type and not just a count? This is especially important if I’m mixing AMDs and NVIDIAs on the same node. If not, can I specify the “order” in which I want GPUs to be scheduled if they don’t specify a type (so they get handed out from least-powerful to most-powerful if people don’t care)? <u></u><u></u></li></ol><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">Any help and/or advice here is much appreciated. <span class="m_1459138301686343925SpellE">Slurm</span> has been amazing for our lab (albeit challenging to setup at first) and I want to get everything dialed before I graduate :D . <u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">Thanks,<u></u><u></u></p><p class="MsoNormal">-Collin<u></u><u></u></p></div></div></div></blockquote></div><br clear="all"><br><span class="gmail_signature_prefix">-- </span><br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr">Tom Payerle <br>DIT-ACIGS/Mid-Atlantic Crossroads        <a href="mailto:payerle@umd.edu" target="_blank">payerle@umd.edu</a><br></div><div>5825 University Research Park               (301) 405-6135<br></div><div dir="ltr">University of Maryland<br>College Park, MD 20740-3831<br></div></div></div></div></div></div>