<div dir="ltr">No other errors in the logs.  Identical slurm.conf on all nodes and controller.  Only the node with gpus has the gres.conf (with the single line Autodetect=nvml).<div><br></div><div>I got this error to stop by removing the Gres=gpu:gp100:2 from the NodeName line in the controller and the node and removing the gres.conf from the node.</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Feb 10, 2020 at 11:41 PM Chris Samuel <<a href="mailto:chris@csamuel.org">chris@csamuel.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Monday, 10 February 2020 12:11:30 PM PST Dean Schulze wrote:<br>
<br>
> With this configuration I get this message every second in my slurmctld.log<br>
> file:<br>
> <br>
>     error: _slurm_rpc_node_registration node=slurmnode1: Invalid argument<br>
<br>
What other errors are in the logs?<br>
<br>
Could you check that you've got identical slurm.conf and gres.conf files <br>
everywhere?<br>
<br>
All the best,<br>
Chris<br>
-- <br>
  Chris Samuel  :  <a href="http://www.csamuel.org/" rel="noreferrer" target="_blank">http://www.csamuel.org/</a>  :  Berkeley, CA, USA<br>
<br>
<br>
<br>
<br>
</blockquote></div>