<div dir="auto">Hi, <div dir="auto"><br></div><div dir="auto">It just shows</div><div dir="auto">"Node $NODE not found"</div><div dir="auto"><br></div><div dir="auto">Whereas others all work as expected (ie, they are running)</div><div dir="auto"><br></div><div dir="auto">Without knowing the internals of slurm it feels like nodes that are turned off+cloud state don't exist in the system until they are on?</div><div dir="auto"><br></div><div dir="auto">Any other ideas?</div><div dir="auto"><br></div><div dir="auto">Thanks</div><div dir="auto">Nathan</div><div dir="auto"><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed., 19 Jun. 2019, 4:21 pm Chris Samuel, <<a href="mailto:chris@csamuel.org">chris@csamuel.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On Tuesday, 18 June 2019 9:36:56 PM PDT nathan norton wrote:<br>
<br>
> Just tried running that command, but it only shows nodes that are up and<br>
> running, doesn’t tell me about any nodes that are down and turned off, as<br>
> an example please see below. There is a job running that should be using<br>
> the 100 nodes but only 52 are allocated (plus 2 down* (that I know about<br>
> and don’t care about in this case)) where are the stats and details on why<br>
> the 40ish other nodes are not being used? (nothing in the masters log file<br>
> either)<br>
<br>
I suspect this is related to their cloud state.<br>
<br>
What does "scontrol show node $NODE" say where $NODE is the name of a node <br>
that isn't being listed despite you expecting it to be?<br>
<br>
All the best,<br>
Chris<br>
-- <br>
  Chris Samuel  :  <a href="http://www.csamuel.org/" rel="noreferrer noreferrer" target="_blank">http://www.csamuel.org/</a>  :  Berkeley, CA, USA<br>
<br>
<br>
<br>
<br>
</blockquote></div>