<div dir="ltr"><font size="2"><span style="font-family:arial,sans-serif">        I am getting an unusual error when trying to run Podman containers using scrun on SLURM 23.11.3 (and 23.11.1 previously). In short, Podman works when not configured to use scrun, but when configured to use scrun it fails.<br></span></font><div><br></div><div><font size="2">Podman gives this error:</font></div><div><font size="2"><br></font></div><div><span style="font-family:monospace"><span style="color:rgb(0,0,0);background-color:rgb(255,255,255)">scrun: fatal: Unable to request job allocation: Job cannot be submitted without the current working directory specified.</span><br></span></div><font size="2"><span style="font-family:arial,sans-serif"><br>The slurmctld logs show this error:<br></span></font><div><br></div><div><span style="font-family:monospace"><span style="color:rgb(0,0,0);background-color:rgb(255,255,255)">_slurm_rpc_allocate_resources: Job cannot be submitted without the current working directory specified.</span><br></span></div><div><br></div><font size="2"><span style="font-family:arial,sans-serif">The scrun command does not appear to have a --chdir option so the working directory must be detected automatically, and this appears to be failing.</span></font><br><div><br></div><div><font size="2"><span style="font-family:arial,sans-serif">       Perhaps someone has encountered this or a similar error before? If anyone has seen this before I would love to hear about your experiences.<br></span></font></div><div><br><br></div><div>  <span style="font-family:arial,sans-serif"><font size="2">     A bit more detail in case anyone is interested. This is a two-node test system with one head node and one compute node, both running Rocky Linux 8.9. I have created /etc/containers/storage.conf and containers.conf files which are identical to the ones in the SLURM Containers Guide except that I set the <span style="color:rgb(0,0,0);background-color:rgb(255,255,255)">rootless_storage_path to the same value as the graphroot in storage.conf.</span><span style="color:rgb(0,0,0);background-color:rgb(255,255,255)"> When I get rid of the /etc/containers/containers.conf file I can run containers on the head node.</span></font></span><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0);background-color:rgb(255,255,255)"> The backing store is ext4, though I have tried NFS (which had other problems). I have tried the vfs and overlay storage drivers but get the same results.</span></font></span><span style="font-family:arial,sans-serif"><font size="2"><br></font></span></div><div><span style="font-family:arial,sans-serif"><font size="2"><br></font></span></div><div><span style="font-family:arial,sans-serif"><font size="2">       On the SLURM side I created an oci.conf which is the same as the "oci.conf example for crun using run (suggested)" from the SLURM Container Guide<span style="color:rgb(0,0,0);background-color:rgb(255,255,255)">. I'm using crun because I have forced cgroup v2 on both systems (</span><span style="color:rgb(0,0,0);background-color:rgb(255,255,255)">systemd.unified_cgroup_hierarchy=1</span> on the kernel cmdline<span style="color:rgb(0,0,0);background-color:rgb(255,255,255)">) and crun seems to support cgroup v2 better. I am using an scrun.lua which is similar to the one in the scrun manual page with some paths modified for my setup.</span></font></span></div><div><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0);background-color:rgb(255,255,255)"><br></span></font></span></div><div><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0);background-color:rgb(255,255,255)">       I should also mention that sbatch jobs run just fine and srun works as well. the test cluster seems to be working fine in general.<br></span></font></span></div><div><br><span class="gmail_signature_prefix">-- </span><br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr">Marcus Lauer<br></div><div>Systems Administrator<br></div><div dir="ltr"><div>CETS Group, Research Support</div></div></div></div></div></div></div></div>