<div dir="ltr">Hello all,<div><br></div><div>A user received an email from Slurm that one of his jobs was preempted. Normally when a job is preempted, the logs will show something like this:</div><div><br></div><div><font face="monospace">[2023-03-30T08:19:16.535] [25538.batch] error: *** JOB 25538 ON node07 CANCELLED AT 2023-03-30T08:19:16 DUE TO PREEMPTION ***<br>[2023-03-30T08:19:16.573] [25538.1] error: *** STEP 25538.1 ON node07 CANCELLED AT 2023-03-30T08:19:16 DUE TO PREEMPTION ***</font></div><div><br></div><div>There was no such entry for this job; what was in the log for the job was this:</div><div><br></div><div><font face="monospace">[2023-04-24T17:06:24.105] [26446.batch] error: *** JOB 26446 ON node07 CANCELLED AT 2023-04-24T17:06:24 ***<br>[2023-04-24T17:06:24.105] [26446.1] error: *** STEP 26446.1 ON node07 CANCELLED AT 2023-04-24T17:06:24 ***<br>[2023-04-24T17:06:24.155] [26446.extern] done with job<br>[2023-04-24T17:06:25.161] [26446.batch] sending REQUEST_COMPLETE_BATCH_SCRIPT, error:0 status:15<br>[2023-04-24T17:06:25.163] [26446.batch] done with job<br>[2023-04-24T17:06:27.462] [26446.1] error: Failed to send MESSAGE_TASK_EXIT: Connection refused<br>[2023-04-24T17:06:27.464] [26446.1] done with job</font></div><div><br></div><div>It's unclear to me whether this was actually preempted, but perhaps there is a different way it logs preemption for MPI jobs. I do not, however, believe that it was preempted, because he was running on a partition to which the account he was using was the only account permitted to use that partition, and in any case, that partition has the highest partition priority. Moreover, the job immediately restarted (after a requeue, with a new job id) on the same partition.</div><div><br></div><div>Any thoughts as to whether this job was actually preempted, and if not, why the email notification would say it was?</div><div><br></div><div>Warmest regards,</div><div>Jason<br clear="all"><div><br></div><span class="gmail_signature_prefix">-- </span><br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div style="color:rgb(0,0,0);font-family:Helvetica;font-size:14px;margin:0px"><span style="color:rgb(130,36,51)"><font face="Century Gothic"><b>Jason L. Simms, Ph.D., M.P.H.</b></font></span></div><font face="Century Gothic">Manager of Research Computing</font><br></div><div dir="ltr"><div style="color:rgb(0,0,0);font-family:Helvetica;font-size:14px;margin:0px"><font face="Century Gothic"><span style="color:gray">Swarthmore College<br>Information Technology Services</span></font></div><div style="color:rgb(0,0,0);font-family:Helvetica;font-size:14px;margin:0px"><font face="Century Gothic"><span style="color:gray">(610) 328-8102<br></span></font></div><div style="color:rgb(0,0,0);font-family:Helvetica;font-size:14px;margin:0px"><font face="Century Gothic">Schedule a meeting: </font><span style="font-family:Arial,Helvetica,sans-serif;font-size:small;color:rgb(32,33,36)"><a href="https://calendly.com/jlsimms" target="_blank">https://calendly.com/jlsimms</a></span><br></div></div></div></div></div></div></div></div>