<div dir="ltr">Thanks for the replies - they will help me think about configuration changes.</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, 22 Jan 2020 at 14:05, Loris Bennett <<a href="mailto:loris.bennett@fu-berlin.de">loris.bennett@fu-berlin.de</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi,<br>
<br>
We have<br>
<br>
  PriorityDecayHalfLife=7-0<br>
  PriorityMaxAge=7-0<br>
<br>
which are the defaults.<br>
<br>
I don't quite understand the point below about the business of the<br>
cluster.  If the cluster isn't busy, the jobs won't need to compete and<br>
jobs belonging to users with zero shares will still start.<br>
<br>
For me the half-life should be related to the maximum time limit.  If I<br>
allow jobs to run for, say, 14 days, I probably want that CPU-usage to<br>
count against the priority for a similar period, rather than decaying<br>
very rapidly.<br>
<br>
Ultimately the longer the half-life, the "fairer" the priorities will<br>
be.  However, if I have only a few serious multicore power-users, I<br>
might want them to have a bit of an edge over hundreds of individual<br>
users with small numbers of single-core jobs.  In that case I would<br>
shorten the half-life.<br>
<br>
What a good value for PriorityMaxAge is is, to my mind, even harder to<br>
say.  The longer it is, the more you reward the time spent pending.  In<br>
my setup it mainly helps jobs of owners who have used up all their<br>
shares.  As well as getting back shares through the decay of CPU-usage,<br>
which benefits all jobs, ageing benefits individual jobs.  Of course,<br>
how much the jobs benefit depends greatly on the weight you give to<br>
MaxAge.<br>
<br>
Just my 2¢<br>
<br>
Loris<br>
<br>
Hadrian Djohari <<a href="mailto:hxd58@case.edu" target="_blank">hxd58@case.edu</a>> writes:<br>
<br>
> Hi Killian,<br>
><br>
> We choose to penalize the users a little only for their previous busy jobs, so we choose short turnarounds.<br>
> PriorityDecayHalfLife=1-0<br>
> PriorityMaxAge=4-0<br>
><br>
> The busier the cluster, the longer should the parameters be, so the user previous jobs will restrict the "future" ones more.<br>
> These should be adjusted based on the actual usage and impact to the users.<br>
><br>
> Best,<br>
> Hadrian<br>
><br>
> On Wed, Jan 22, 2020 at 4:22 AM Killian Murphy <<a href="mailto:killian.murphy@york.ac.uk" target="_blank">killian.murphy@york.ac.uk</a>> wrote:<br>
><br>
>  Hi all.<br>
><br>
>  I’m interested to learn what people are using for the following configuration items:<br>
><br>
>  * PriorityDecayHalfLife<br>
>  * PriorityMaxAge<br>
><br>
>  and why they have chosen to set these as they have. I believe we haven’t got these set quite right on our cluster (3-0 for both items), and some understanding of what other people are doing with these<br>
>  settings might help us to get this right!<br>
><br>
>  For context, ours is a tier 3 cluster servicing mixed workloads.<br>
><br>
>  Thanks.<br>
><br>
>  Killian<br>
><br>
>  -- <br>
>  Killian Murphy<br>
>  Research and High Performance Computing Team Leader<br>
>  Research Software Engineer<br>
><br>
>  Information Services & Wolfson Atmospheric Chemistry Laboratories<br>
>  University of York<br>
>  Heslington<br>
>  York<br>
>  YO10 5DD<br>
>  +44 (0)1904 32 4753<br>
><br>
>  e-mail disclaimer: <a href="http://www.york.ac.uk/docs/disclaimer/email.htm" rel="noreferrer" target="_blank">http://www.york.ac.uk/docs/disclaimer/email.htm</a><br>
-- <br>
Dr. Loris Bennett (Mr.)<br>
ZEDAT, Freie Universität Berlin         Email <a href="mailto:loris.bennett@fu-berlin.de" target="_blank">loris.bennett@fu-berlin.de</a><br>
<br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr" style="font-size:12.8px">Killian Murphy</div><div dir="ltr" style="font-size:12.8px"><span>Research and High Performance Computing Team Leader</span></div><div dir="ltr" style="font-size:12.8px">Research Software Engineer</div><div dir="ltr" style="font-size:12.8px"><br></div><div dir="ltr" style="font-size:12.8px">Information Services & Wolfson Atmospheric Chemistry Laboratories<br>University of York<br>Heslington<br>York<br>YO10 5DD<br>+44 (0)1904 32 4753<br><br>e-mail disclaimer: <a href="http://www.york.ac.uk/docs/disclaimer/email.htm" style="color:rgb(17,85,204)" target="_blank">http://www.york.ac.uk/docs/disclaimer/email.htm</a></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>