<div dir="ltr"><div>Dear list,</div><div><br></div><div>I've been using cgroupsv2 with SLURM  22.05 on CentOS Stream 8 successfully for a few months now. Recently a few of my nodes have started having problems starting slurmd. The log shows:</div><div><br></div><div>[2022-08-16T20:52:58.439] slurmd version 22.05.3 started<br>[2022-08-16T20:52:58.439] error: Controller cpuset is not enabled!<br>[2022-08-16T20:52:58.439] error: Controller cpu is not enabled!<br>[2022-08-16T20:52:58.439] error: cpu cgroup controller is not available.<br>[2022-08-16T20:52:58.439] error: There's an issue initializing memory or cpu controller<br>[2022-08-16T20:52:58.439] error: Couldn't load specified plugin name for jobacct_gather/cgroup: Plugin init() callback failed<br>[2022-08-16T20:52:58.439] error: cannot create jobacct_gather context for jobacct_gather/cgroup<br>[2022-08-16T20:52:58.439] fatal: Unable to initialize jobacct_gather</div><div><br></div><div>The system has cgroupsv2 enabled as far as I can tell:</div><div><br></div><div># cat /sys/fs/cgroup/cgroup.controllers<br>cpuset cpu io memory hugetlb pids rdma<br># [ $(stat -fc %T /sys/fs/cgroup/) = "cgroup2fs" ] && echo "unified" || ( [ -e /sys/fs/cgroup/unified/ ] && echo "hybrid" || echo "legacy")<br>unified</div><div><br></div><div>And my slurm.conf has:</div><div><br></div><div>ProctrackType=proctrack/cgroup</div><div>TaskPlugin=task/affinity,task/cgroup</div><div><br></div><div>And cgroup.conf:</div><div><br></div><div>CgroupAutomount=yes<br>CgroupPlugin=autodetect</div><div><br></div><div>What else should I look for before giving up and reverting to cgroupsv1? My current version is 22.05.3, but it was happening in 22.05.2 as well.<br></div><div><br></div><div>Thank you for any advice.<br></div><div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div>Alan Orth<br><a href="mailto:alan.orth@gmail.com" target="_blank">alan.orth@gmail.com</a><br><a href="https://picturingjordan.com" target="_blank">https://picturingjordan.com</a><br><a href="https://englishbulgaria.net" target="_blank">https://englishbulgaria.net</a><br><a href="https://mjanja.ch" target="_blank">https://mjanja.ch</a></div></div></div></div></div>