<div dir="ltr">Hello all,<div><br></div><div>My error was indeed just the comma in my gres.conf.  I was confused because I had the same file on my running nodes but that's just because slurmd started before the erroneous comma was added to the config.</div><div><br></div><div>So the error message was in fact directly correct, it could not find the device called "<span style="font-size:small;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline">/dev/nvidia[0-1],CPUs="0-9""</span></div><div><span style="font-size:small;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline"><br></span></div><div><span style="font-size:small;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline">I have a separate question.  None of my GPUs are in 'persistence mode'.  But the users have not encountered any problems.  Reading through the docs, it looks like it may have some minor effect on startup times.  Most of our GPU jobs are long (many hours, sometimes days).  Do people tend to use "persistence mode" for their GPU compute nodes?</span></div><div><span style="font-size:small;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline"><br></span></div><div><span style="font-size:small;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline">Regards,</span></div><div><span style="font-size:small;background-color:rgb(255,255,255);text-decoration-style:initial;text-decoration-color:initial;float:none;display:inline">Alex</span></div></div><br><div class="gmail_quote"><div dir="ltr">On Mon, Jul 23, 2018 at 7:35 PM Ryan Novosielski <<a href="mailto:novosirj@rutgers.edu">novosirj@rutgers.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">> On Jul 23, 2018, at 10:31 PM, Ian Mortimer <<a href="mailto:i.mortimer@uq.edu.au" target="_blank">i.mortimer@uq.edu.au</a>> wrote:<br>
> <br>
> On Tue, 2018-07-24 at 02:19 +0000, Ryan Novosielski wrote:<br>
> <br>
>> Best off running nvidia-persistenced. Handles all of this stuff as a<br>
>> side effect, and also enables persistence mode, provided you don’t<br>
>> configure it otherwise. <br>
> <br>
> Yes.  But you have to ensure it starts before slurmd.<br>
<br>
While true, I don’t find I need to take any special precaution on my machines. Probably prudent to set a systemd dependency though.<br>
<br>
--<br>
____<br>
|| \\UTGERS,     |---------------------------*O*---------------------------<br>
||_// the State  |         Ryan Novosielski - <a href="mailto:novosirj@rutgers.edu" target="_blank">novosirj@rutgers.edu</a><br>
|| \\ University | Sr. Technologist - 973/972.0922 (2x0922) ~*~ RBHS Campus<br>
||  \\    of NJ  | Office of Advanced Research Computing - MSB C630, Newark<br>
     `'<br>
<br>
</blockquote></div>