<div dir="auto"><div>Thanks Chris.  I do have the <span style="font-family:sans-serif">ConstrainDevices turned on.  Are the differences in your </span><span style="font-family:sans-serif"><a href="http://cgroup_allowed_devices_file.co">cgroup_allowed_devices_file.co</a></span><span style="font-family:sans-serif">nf relevant in this case?</span><br><br><div class="gmail_quote"><div dir="ltr">On Tue, May 1, 2018, 19:23 Christopher Samuel <<a href="mailto:chris@csamuel.org">chris@csamuel.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On 02/05/18 09:00, Kevin Manalo wrote:<br>
<br>
> Also, I recall appending this to the bottom of<br>
> <br>
> [cgroup_allowed_devices_file.conf]<br>
> ..<br>
> Same as yours<br>
> ...<br>
> /dev/nvidia*<br>
> <br>
> There was a SLURM bug issue that made this clear, not so much in the website docs.<br>
<br>
That shouldn't be necessary, all we have for this is..<br>
<br>
The relevant line from our cgroup.conf:<br>
<br>
[...]<br>
# Constrain devices via cgroups (to limits access to GPUs etc)<br>
ConstrainDevices=yes<br>
[...]<br>
<br>
Our entire cgroup_allowed_devices_file.conf:<br>
<br>
/dev/null<br>
/dev/urandom<br>
/dev/zero<br>
/dev/sda*<br>
/dev/cpu/*/*<br>
/dev/pts/*<br>
/dev/ram<br>
/dev/random<br>
/dev/hfi*<br>
<br>
<br>
This is on RHEL7.<br>
<br>
-- <br>
  Chris Samuel  :  <a href="http://www.csamuel.org/" rel="noreferrer noreferrer" target="_blank">http://www.csamuel.org/</a>  :  Melbourne, VIC<br>
<br>
</blockquote></div></div></div>