<div dir="ltr">Hi David,<br><div dir="ltr"><br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">

Those queries then should not have to happen too often, although do you<br>
have any indication of a range for when you say "you still wouldn't<br>
want to query the status too frequently." Because I don't really, and<br>
would probably opt for some compromise of every 30 seconds or so.<br></blockquote><div><br></div><div>Every 30 seconds sounds reasonable. My cautioning was only in the sense that everything has limitations. For example, the query processing time is dependent on the size of the query and the overall load on the system, so any static interval you select may not work well under some conditions. You might want to defend against that by making the interval adaptive, like the maximum of 30s or 5x the execution time of the last query, so that it adapts to the overall burden of the query and the system load. That is just an example to try and communicate what I was getting at.<br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">

One thing I didn't understand from your eMail is the part about job<br>
names, as the command I gave doesn't use job names for its query:<br>
<br>
sacct -X -P -n --format=JobIdRaw,State -j <jobid_1>,<jobid_2>,...<br>
<br>
Instead, it just uses the JobId, and isn't that guaranteed to be unique<br>
at any point in time? Or were you meaning to say that JobId can be non-<br>
unique? That would indeed spell trouble on a different level, and make<br>
status checks much more complicated...<br></blockquote><div><br></div><div>Job id is unique. What I mean is, building a CSV list of jobs has scalability issues. If you could assign the same job name to each job in the snakemake pipeline, then the query is much shorter, and still returns the status for each job id that snakemake has launched. Rather than falling back to scontrol (which doesn't support querying by name) snakemake could fall back to squeue which does support querying by name.</div><div><br></div><div>Best,</div><div><br></div><div>-Sean<br></div><div><br></div></div></div>