<div dir="ltr">Hello,<div><br></div><div>I am setting up a very simple configuration: one node running slurmd and another one running slurmctld.</div><div><br></div><div>In the slurmctld machine I run:</div><div><br></div><div>srun -v -p debug bash -i<br></div><div><br></div><div><br></div><div>And get this output</div><div>srun: defined options<br>srun: -------------------- --------------------<br>srun: partition           : debug<br>srun: verbose             : 1<br>srun: -------------------- --------------------<br>srun: end of defined options<br>srun: jobid 41: nodes(1):`test116', cpu counts: 1(x1)<br>srun: CpuBindType=(null type)<br>srun: launching 41.0 on host test116, 1 tasks: 0<br>srun: route default plugin loaded<br>srun: error: task 0 launch failed: Slurmd could not set up environment for batch job<br>srun: Node test116, 1 tasks started</div><div><br></div><div>Enabled debug logging in slurmd.</div><div><br clear="all"><div>slurmd: debug3: in the service_connection<br>slurmd: debug2: Start processing RPC: REQUEST_LAUNCH_TASKS<br>slurmd: debug2: Processing RPC: REQUEST_LAUNCH_TASKS<br>slurmd: launch task 45.0 request from UID:1000 GID:1000 HOST:169.254.1.32 PORT:2300<br>slurmd: debug3: state for jobid 42: ctime:1581056522 revoked:1581056522 expires:1581056642<br>slurmd: debug3: state for jobid 43: ctime:1581056533 revoked:1581056533 expires:1581056653<br>slurmd: debug3: state for jobid 44: ctime:1581056623 revoked:1581056623 expires:1581056743<br>slurmd: debug:  Checking credential with 384 bytes of sig data<br>slurmd: debug:  task affinity : before lllp distribution cpu bind method is '(null type)' ((null))<br>slurmd: debug3: task/affinity: slurmctld s 1 c 1; hw s 1 c 1 t 1<br>slurmd: debug3: task/affinity: job 45.0 core mask from slurmctld: 0x1<br>slurmd: debug3: task/affinity: job 45.0 CPU final mask for local node: 0x00000000000000000001<br>slurmd: debug3: _lllp_map_abstract_masks<br>slurmd: debug:  binding tasks:1 to nodes:1 sockets:1:0 cores:1:0 threads:1<br>slurmd: lllp_distribution jobid [45] implicit auto binding: sockets,one_thread, dist 8192<br>slurmd: _task_layout_lllp_cyclic<br>slurmd: debug3: task/affinity: slurmctld s 1 c 1; hw s 1 c 1 t 1<br>slurmd: debug3: task/affinity: job 45.0 core mask from slurmctld: 0x1<br>slurmd: debug3: task/affinity: job 45.0 CPU final mask for local node: 0x00000000000000000001<br>slurmd: debug3: _task_layout_display_masks jobid [45:0] 0x00000000000000000001<br>slurmd: debug3: _lllp_map_abstract_masks<br>slurmd: debug3: _task_layout_display_masks jobid [45:0] 0x00000000000000000001<br>slurmd: debug3: _lllp_generate_cpu_bind 1 23 24<br>slurmd: _lllp_generate_cpu_bind jobid [45]: mask_cpu,one_thread, 0x00000000000000000001<br>slurmd: debug:  task affinity : after lllp distribution cpu bind method is 'mask_cpu,one_thread' (0x00000000000000000001)<br>slurmd: debug2: _insert_job_state: we already have a job state for job 45.  No big deal, just an FYI.<br>slurmd: _run_prolog: run job script took usec=4<br>slurmd: _run_prolog: prolog with lock for job 45 ran for 0 seconds<br>slurmd: debug3: _rpc_launch_tasks: call to _forkexec_slurmstepd<br>slurmd: debug3: slurmstepd rank 0 (test116), parent rank -1 (NONE), children 0, depth 0, max_depth 0<br>slurmd: debug3: _rpc_launch_tasks: return from _forkexec_slurmstepd<br>slurmd: debug:  task_p_slurmd_reserve_resources: 45<br>slurmd: debug2: Finish processing RPC: REQUEST_LAUNCH_TASKS<br>slurmd: debug3: in the service_connection<br>slurmd: debug2: Start processing RPC: REQUEST_TERMINATE_JOB<br>slurmd: debug2: Processing RPC: REQUEST_TERMINATE_JOB<br>slurmd: debug:  _rpc_terminate_job, uid = 1000<br>slurmd: debug:  task_p_slurmd_release_resources: affinity jobid 45<br>slurmd: debug:  credential for job 45 revoked<br>slurmd: debug2: No steps in jobid 45 to send signal 18<br>slurmd: debug2: No steps in jobid 45 to send signal 15<br>slurmd: debug4: sent ALREADY_COMPLETE<br>slurmd: debug2: set revoke expiration for jobid 45 to 1581056754 UTS<br>slurmd: debug2: Finish processing RPC: REQUEST_TERMINATE_JOB<br></div><div><br></div><div><br></div><div>Any ideas what could be going wrong here?</div><div><br></div><div>Thanks</div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature">-h</div></div></div>