<div dir="ltr"><div>Hi,</div><div><br></div><div>We also noticed this. We eventually placed the max time on the HealthCheckInterval (65535), and created a systemd.timer which runs the scripts externally of slurm, with proper intervals and randomized delays.</div><div><br></div><div>    Yair.<br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Dec 2, 2020 at 9:03 AM <<a href="mailto:taleintervenor@sjtu.edu.cn" target="_blank">taleintervenor@sjtu.edu.cn</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div lang="ZH-CN"><div><p class="MsoNormal"><span lang="EN-US">Hello,<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">Our slurm cluster managed about 600+ nodes and I tested to set HealthCheckNodeState=CYCLE in slurm.conf. According to conf manual, setting this to CYCLE shall cause slurm to “cycle through running on all compute nodes through the course of the HealthCheckInterval”. So I set “HealthCheckInterval = 600”, and expected the health check time point can be evenly distributed across the 600 seconds period.<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">But the test result showed that the earliest checked node is at about 14:19:35, while the latest checked node is at about 14:20:39. A round of the health checks only distributed across 60+ seconds? And the previous checking round distributed from 14:08:10 to 14:09:26, it seems the HealthCheckInterval only control the time interval between two rounds, not the time range distributed by one round checkings.<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">So did I mistake the description in conf’s manual? And is there any method can control the health check frequency in one round between different nodes?<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">Thanks.<u></u><u></u></span></p></div></div></blockquote></div></div>