<div dir="ltr"><div>We've been working to tune our backfill scheduler here. Here is
 a presentation some of you might have seen at a previous SLUG on tuning
 the backfill scheduler. HTH!</div><div><br></div><div><a href="https://slurm.schedmd.com/SUG14/sched_tutorial.pdf">https://slurm.schedmd.com/SUG14/sched_tutorial.pdf</a></div><div><br></div><div>David</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Oct 2, 2019 at 1:37 PM Mark Hahn <<a href="mailto:hahn@mcmaster.ca">hahn@mcmaster.ca</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">>(most likely in the next year). My reaction is that Slurm very rarely<br>
>provides an estimated start time for a job. I understand that this is not<br>
>possible for jobs on hold and dependent jobs.<br>
<br>
it's also not possible if both running and queued jobs <br>
lack definite termination times; do yours?<br>
<br>
my understanding is the following:<br>
the main scheduler does not perform forward planning.<br>
that is, it is opportunistic.  it walks the list of priority-sorted<br>
pending jobs, starting any which can run on currently free<br>
(or preemptable) resources.<br>
<br>
the backfill scheduler is a secondary, asynchronous loop that tries hard<br>
not to interfere with the main scheduler (severely throttles itself)<br>
and tries to place start times for pending jobs.<br>
<br>
the main issue with forward scheduling is that if high-prio jobs become<br>
runnable (submitted, off hold, dependency-satisfied), then most of the <br>
(tentative) start times probably need to be removed.<br>
<br>
a quick look at plugins/sched/backfill/backfill.c indicates that things <br>
are /complicated/ ;)<br>
<br>
we (ComputeCanada) don't see a lot of forward start times either.<br>
<br>
I also would welcome discussion of how to tune the backfill scheduler!<br>
I suspect that in order to work well, it needs a particular distribution<br>
of job priorities.<br>
<br>
regards, mark hahn.<br>
<br>
</blockquote></div><br clear="all"><br>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr">David Rhey<br>---------------</div><div dir="ltr"><span style="font-size:12.8px">Advanced Research Computing - Technology Services</span></div><div dir="ltr"><span style="font-size:12.8px">University of Michigan</span></div></div></div></div></div>