<div><div dir="auto">Sreport shows data that is summarized hourly. Restarting slurmdbd can delay this process.  If some jobs are missing end records it can massively slow the process because it may need to pick a much earlier start time in the past to summarize.</div></div><div dir="auto"><br></div><div dir="auto">Sacctmgr show runawayjobs can help identify if you are in this situation</div><div><br><div class="gmail_quote"><div dir="ltr">On Sun, Oct 14, 2018 at 2:05 PM Dave Botsch <<a href="mailto:botsch@cnf.cornell.edu">botsch@cnf.cornell.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">This seems to reflect what I am seeing. Someone earlier mentioned<br>
multiple restarts of slurmdbd... those restarts never made data appear<br>
unless right around on the hour.<br>
<br>
It's as if instead of data getting sent right through slurmdbd that<br>
something in slurmdbd is just doing an hourly check of the text based<br>
sacct records (which I don't understand why those are even there if not<br>
configured in slurm.conf).<br>
<br>
Thanks.<br>
<br>
On Sun, Oct 14, 2018 at 12:08:10PM +0100, Antony Cleave wrote:<br>
> I have noticed on several clusters that sreport can be upto one hour out of<br>
> date i.e. it will update on the hour every hour.<br>
> <br>
> sacct does not behave this way and is always up to date.<br>
> <br>
> I cannot see this stated in the docs or see any config settings to control<br>
> this but it happens on the last 17.02 cluster I checked.<br>
> <br>
> Antony<br>
> <br>
> On 14 Oct 2018 11:58, "Steven Dick" <<a href="mailto:kg4ydw@gmail.com" target="_blank">kg4ydw@gmail.com</a>> wrote:<br>
> <br>
> It is documented that you need to create the cluster in the database.<br>
> <br>
> It is not documented that the accounting system won't work until you<br>
> restart slurmdbd multiple times before it starts collecting accounting<br>
> records.<br>
> <br>
> Also, none of the necessary restarts are needed on an upgrade -- only<br>
> when slurm is initialized for a new cluster.<br>
> <br>
> <br>
> On Sun, Oct 14, 2018 at 4:12 AM Ole Holm Nielsen<br>
> <<a href="mailto:Ole.H.Nielsen@fysik.dtu.dk" target="_blank">Ole.H.Nielsen@fysik.dtu.dk</a>> wrote:<br>
> > Correct, and this is documented in the Slurm accounting setup page:<br>
> > <a href="https://slurm.schedmd.com/accounting.html#database-configuration" rel="noreferrer" target="_blank">https://slurm.schedmd.com/accounting.html#database-configuration</a><br>
> ><br>
<br>
-- <br>
********************************<br>
David William Botsch<br>
Programmer/Analyst<br>
@CNFComputing<br>
<a href="mailto:botsch@cnf.cornell.edu" target="_blank">botsch@cnf.cornell.edu</a><br>
********************************<br>
<br>
</blockquote></div></div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature">Sent from Gmail Mobile</div>