<div dir="ltr"><div>Hello all,<div><br></div><div>Happy new year!</div><div><br></div><div>We have recently upgraded the cgroups on our SLURM cluster to v2. In cgroups v1, the interface `/devices.list` used to have the information of which device has been attached to that particular cgroup. From my understanding, cgroups v2 use eBPF to manage devices and so as SLURM to manage the GPUs.</div><div><br></div><div>I was looking for a way to be able to programatically determine the job cgroups to device mapping and I came across this thread (<a href="https://bugzilla.redhat.com/show_bug.cgi?id=1717396" target="_blank">https://bugzilla.redhat.com/show_bug.cgi?id=1717396</a>) which has a similar discussion in the context of VMs.</div><div><br></div><div>So, I have used `bpftool` to inspect the job cgroups. An example output:</div><div>```</div><div><span style="font-family:monospace"><span style="color:rgb(0,0,0)"># /tmp/bpftool cgroup list /sys/fs/cgroup/system.slice/slurmstepd.scope/job_1956132</span><br>ID       AttachType      AttachFlags     Name<br></span></div><div>```</div><div>When I add `effective` flag, I see the attached eBPF program</div><div><br></div><div>```</div><div><span style="font-family:monospace"><span style="color:rgb(0,0,0)"># /tmp/bpftool cgroup list /sys/fs/cgroup/system.slice/slurmstepd.scope/job_1956132 effective</span><br>ID       AttachType      Name            <br>4197     cgroup_device   Slurm_Cgroup_v2<br></span></div><div>```</div><div>From my understand, `effective` flag shows the inherited eBPF programs as well. So, my question is at which level of cgroups the eBPF program is attached? I tried to inspect at various levels but all of them returned none.</div><div><br></div><div>Then looking into translated byte code of eBPF program, I get the following</div><div>```</div><div><span style="font-family:monospace"><span style="color:rgb(0,0,0)"># /tmp/bpftool prog dump xlated id 4197</span><br>  0: (61) r2 = *(u32 *)(r1 +0)<br>  1: (54) w2 &= 65535<br>  2: (61) r3 = *(u32 *)(r1 +0)<br>  3: (74) w3 >>= 16<br>  4: (61) r4 = *(u32 *)(r1 +4)<br>  5: (61) r5 = *(u32 *)(r1 +8)<br>  6: (55) if r2 != 0x2 goto pc+4<br>  7: (55) if r4 != 0xc3 goto pc+3<br>  8: (55) if r5 != 0x0 goto pc+2<br>  9: (b7) r0 = 0<br> 10: (95) exit<br> 11: (55) if r2 != 0x2 goto pc+4<br> 12: (55) if r4 != 0xc3 goto pc+3<br> 13: (55) if r5 != 0x1 goto pc+2<br> 14: (b7) r0 = 0<br> 15: (95) exit<br> 16: (55) if r2 != 0x2 goto pc+4<br> 17: (55) if r4 != 0xc3 goto pc+3<br> 18: (55) if r5 != 0x2 goto pc+2<br> 19: (b7) r0 = 0<br> 20: (95) exit<br> 21: (55) if r2 != 0x2 goto pc+4<br> 22: (55) if r4 != 0xc3 goto pc+3<br> 23: (55) if r5 != 0x3 goto pc+2<br> 24: (b7) r0 = 1<br> 25: (95) exit<br> 26: (b7) r0 = 1<br> 27: (95) exit<br></span></div><div>```</div><div>From the output, it is clear that GPU:3 (among 0,1,2,3) is the one that is attached to that job's cgroup.</div><div><br></div><div>However, I was looking for a way to dump eBPF maps that can directly provide the major, minor numbers and permissions of device as discussed in the comment (<a href="https://bugzilla.redhat.com/show_bug.cgi?id=1717396#c5" target="_blank">https://bugzilla.redhat.com/show_bug.cgi?id=1717396#c5</a>). When I inspect eBPF program, I dont see any maps associated.</div><div><br></div><div>```</div><div><span style="font-family:monospace"><span style="color:rgb(0,0,0)"># /tmp/bpftool prog list id 4197</span><br>4197: cgroup_device  name Slurm_Cgroup_v2  tag 1a261c8a913ff67c  gpl<br>       loaded_at 2024-01-02T08:19:56+0100  uid 0<br>       xlated 224B  jited 142B  memlock 4096B<br></span></div><div>```</div><div>So, my second question is how can I get a similar information as `map dump` that can give us the device's major minor numbers directly instead of parsing the byte code from `prog dump`? </div><div><br></div><div>I am still discovering the eBPF ecosystem so if I am missing something very obvious, please let me know. I would really appreciate that.</div><div><br></div><div>Cheers!</div><div><br></div><div>Regards</div><font color="#888888"><font color="#888888"><div>Mahendra</div></font></font></div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><br></div></div></div></div></div>