<div dir="auto"><div dir="auto">Thanks Renfro.<div dir="auto"><br></div><div dir="auto">I will perform similar setting and let us see how it goes.</div><div dir="auto"><br></div><div dir="auto">Regards </div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jun 15, 2020, 23:02 Renfro, Michael <<a href="mailto:Renfro@tntech.edu" target="_blank" rel="noreferrer">Renfro@tntech.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">




<div dir="ltr">
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
So if a GPU job is submitted to a partition containing only GPU nodes, and a non-GPU job is submitted to a partition containing at least some nodes without GPUs, both jobs should be able to run. Priorities should be evaluated on a per-partition basis. I can
 100% guarantee that in our HPC, pending GPU jobs don't block non-GPU jobs, and vice versa.</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
I could see a problem if the GPU job was submitted to a partition containing both types of nodes: if that job was assigned the highest priority for whatever reason (fair share, age, etc.), other jobs in the same partition would have to wait until that job started.</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
A simple solution would be to make a GPU partition containing only GPU nodes, and a non-GPU partition containing only non-GPU nodes. Submit GPU jobs to the GPU partition, and non-GPU jobs to the non-GPU partition.</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
Once that works, you could make a partition that includes both types of nodes to reduce idle resources, but jobs submitted to that partition would have to (a) not require a GPU, (b) require a limited number of CPUs per node, so that you'd have some CPUs available
 for GPU jobs on the nodes containing GPUs.</div>
<div id="m_-6890098519959474041m_2361732983302965362appendonsend"></div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<br>
</div>
<hr style="display:inline-block;width:98%">
<div id="m_-6890098519959474041m_2361732983302965362divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" color="#000000" style="font-size:11pt"><b>From:</b> slurm-users <<a href="mailto:slurm-users-bounces@lists.schedmd.com" rel="noreferrer noreferrer" target="_blank">slurm-users-bounces@lists.schedmd.com</a>> on behalf of navin srivastava <<a href="mailto:navin.altair@gmail.com" rel="noreferrer noreferrer" target="_blank">navin.altair@gmail.com</a>><br>
<b>Sent:</b> Saturday, June 13, 2020 10:47 AM<br>
<b>To:</b> Slurm User Community List <<a href="mailto:slurm-users@lists.schedmd.com" rel="noreferrer noreferrer" target="_blank">slurm-users@lists.schedmd.com</a>><br>
<b>Subject:</b> Re: [slurm-users] ignore gpu resources to scheduled the cpu based jobs</font>
<div> </div>
</div>
<div>
<p align="center" style="text-align:center;background:white;margin:0px"></p>
<div>
<div dir="auto">Yes we have separate partitions. Some are specific to gpu having 2 nodes with 8 gpu and another partitions are mix of both,nodes with 2 gpu and very few nodes are without any gpu. 
<div dir="auto"><br>
</div>
<div dir="auto">Regards </div>
<div dir="auto">Navin<br>
<div dir="auto"><br>
</div>
</div>
</div>
<br>
<div>
<div dir="ltr">On Sat, Jun 13, 2020, 21:11 navin srivastava <<a href="mailto:navin.altair@gmail.com" rel="noreferrer noreferrer" target="_blank">navin.altair@gmail.com</a>> wrote:<br>
</div>
<blockquote style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="auto">
<div dir="auto">Thanks Renfro. </div>
<div dir="auto"><br>
</div>
<div dir="auto">Yes we have both types of nodes with gpu and nongpu.</div>
<div dir="auto">Also some users job require gpu and some applications use only CPU. </div>
<div dir="auto"><br>
</div>
<div dir="auto">So the issue happens when user priority is high and waiting for gpu resources which is not available and the job with lower priority is waiting even though enough CPU is available which need only CPU resources.</div>
<div dir="auto"><br>
</div>
<div dir="auto">When I hold gpu  jobs the cpu  jobs will go through.</div>
<div dir="auto"><br>
</div>
<div dir="auto">Regards </div>
<div dir="auto">Navin</div>
<br>
<div>
<div dir="ltr">On Sat, Jun 13, 2020, 20:37 Renfro, Michael <<a href="mailto:Renfro@tntech.edu" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">Renfro@tntech.edu</a>> wrote:<br>
</div>
<blockquote style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="auto">Will probably need more information to find a solution.
<div><br>
</div>
<div>To start, do you have separate partitions for GPU and non-GPU jobs? Do you have nodes without GPUs?<br>
<div dir="ltr"><br>
<blockquote type="cite">On Jun 13, 2020, at 12:28 AM, navin srivastava <<a href="mailto:navin.altair@gmail.com" rel="noreferrer noreferrer noreferrer noreferrer noreferrer" target="_blank">navin.altair@gmail.com</a>> wrote:<br>
<br>
</blockquote>
</div>
<blockquote type="cite">
<div dir="ltr"><span style="text-align:center;background-color:white">Hi All,</span>
<div>
<div dir="ltr">
<div><br>
</div>
<div>In our environment we have GPU. so what i found is if the user having high priority and his job is in queue and waiting for the GPU resources which are almost full and not available. so the other user submitted the job which does not require the GPU resources
 are in queue even though lots of cpu resources are available.<br>
</div>
<div><br>
</div>
<div>our scheduling mechanism is FIFO and Fair tree enabled. Is there any way we can make some changes so that the cpu based job should go through and GPU based job can wait till the GPU resources are free.</div>
<div><br>
</div>
<div>Regards<br>
</div>
<div>Navin.</div>
<div><br>
</div>
<div><br>
<div><br>
</div>
<div><br>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</blockquote>
</div>
</div>
</blockquote>
</div>
</div>
</div>
</div>

</blockquote></div></div>