<div dir="ltr"><div dir="ltr">Hi David,<br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Feb 23, 2023 at 8:51 AM David Laehnemann <<a href="mailto:david.laehnemann@hhu.de">david.laehnemann@hhu.de</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
Quick follow-up question: do you have any indication of the rate of job<br>
status checks via sacct that slurmdbd will gracefully handle (per<br>
second)? Or any suggestions how to roughly determine such a rate for a<br>
given cluster system?<br></blockquote><div><br></div><div>I looked at your PR for context, and this line of snakemake looks problematic (I know this isn't part of your PR, it is part of the original code) <a href="https://github.com/snakemake/snakemake/commit/a0f04bab08113196fe1616a621bd6bf20fc05688#diff-d1b47826c1fc35806df72508e2f5e7f1d0424f9b2f7b9124810b051f5fe97f1bL296">https://github.com/snakemake/snakemake/commit/a0f04bab08113196fe1616a621bd6bf20fc05688#diff-d1b47826c1fc35806df72508e2f5e7f1d0424f9b2f7b9124810b051f5fe97f1bL296</a>:<br></div><div><br></div><div><span class="gmail-blob-code-inner gmail-blob-code-marker gmail-js-code-nav-pass"><span class="gmail-pl-s1">sacct_cmd</span> <span class="gmail-pl-c1">=</span> <span class="gmail-pl-s">f"sacct -P -n --format=JobIdRaw,State -j <span class="gmail-pl-s1"><span class="gmail-pl-kos">{</span><span class="gmail-pl-s1">jobid</span><span class="gmail-pl-kos">}</span></span>"</span></span></div><div><span class="gmail-blob-code-inner gmail-blob-code-marker gmail-js-code-nav-pass"><span class="gmail-pl-s"><br></span></span></div><div><span class="gmail-blob-code-inner gmail-blob-code-marker gmail-js-code-nav-pass"><span class="gmail-pl-s">Since jobid is an int, this looks like snakmake will individually probe each Slurm job it has launched. If snakemake was using batch logic to gather status for all your running jobs with one call to sacct, then you could probably set the interval low. But it looks like it is going to probe each job individually by ID, so it will make as many RPC calls as their are jobs in the pipeline when it is time to check the status.<br></span></span></div><div><span class="gmail-blob-code-inner gmail-blob-code-marker gmail-js-code-nav-pass"><span class="gmail-pl-s"><br></span></span></div><div><span class="gmail-blob-code-inner gmail-blob-code-marker gmail-js-code-nav-pass"><span class="gmail-pl-s">I could be wrong, but this is how I evaluated the code without going farther upstream.<br></span></span></div></div><div class="gmail_quote"><br></div><div class="gmail_quote">Best,</div><div class="gmail_quote"><br></div><div class="gmail_quote">-Sean<br></div></div>