<div dir="ltr">I think you'll need to update to 18.08 to get this working, constraint arithmetic and knl were not compatible until that release.<br clear="all"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><font face="courier new, monospace" size="1">----</font></div><div><font face="arial, helvetica, sans-serif"><font size="2">Doug Jacobsen, Ph.D.</font><br></font></div><div><font face="arial, helvetica, sans-serif" size="1">NERSC Computer Systems Engineer</font></div><div><font face="arial, helvetica, sans-serif" size="1">Acting Group Lead, Computational Systems Group</font></div><div><font size="1"><font face="arial, helvetica, sans-serif"><a href="http://www.nersc.gov" target="_blank">National Energy Research Scientific Computing Center</a></font><br></font></div><div><font size="1"><a href="mailto:dmjacobsen@lbl.gov" style="font-family:arial,helvetica,sans-serif" target="_blank">dmjacobsen@lbl.gov</a><span style="font-family:arial,helvetica,sans-serif"></span></font><br></div><div><font size="1"><br></font></div><div><font size="1"><font face="courier new, monospace"><span style="color:rgb(136,136,136)">------------- __o</span><br style="color:rgb(136,136,136)"><span style="color:rgb(136,136,136)">---------- _ '\<,_</span><br style="color:rgb(136,136,136)"><span style="color:rgb(136,136,136)">----------(_)/  (_)__________________________</span></font><br></font></div><div style="font-family:arial;font-size:small"><br></div></div></div></div></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr">On Sun, Nov 11, 2018 at 12:27 AM Chris Samuel <<a href="mailto:chris@csamuel.org">chris@csamuel.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On Tuesday, 6 November 2018 11:06:43 PM AEDT Tina Friedrich wrote:<br>
<br>
> So what am I doing wrong with the 'or'?<br>
<br>
I don't have node features defined (other than for KNL nodes), so I can't test <br>
your scenario, but I do see similar as I get the error:<br>
<br>
$ srun -C "broadwell|haswell" --pty /bin/bash<br>
srun: error: Unable to allocate resources: Invalid KNL configuration (MCDRAM <br>
or NUMA option)<br>
<br>
but when using and I get:<br>
<br>
$ srun -C "broadwell&haswell" --pty /bin/bash <br>
srun: error: Unable to allocate resources: Invalid feature specification<br>
<br>
Just a rough guess as I don't have time to try and trace the code, but the <br>
ESLURM_INVALID_KNL error only occurs in the KNL plugin, whereas <br>
ESLURM_INVALID_FEATURE occurs in slurmctld code so I'm wondering if the main <br>
code tries to satisfy the constraints and (for me) fails, and so drops through <br>
to the KNL plugin to check that and that gets the last say on what the Slurm <br>
error number could be.<br>
<br>
That would imply that for some reason your node features aren't getting <br>
properly processed, either by the presence of the KNL plugin or for some other <br>
reason.   It would be worth trying to disable the KNL plugin and see what <br>
effect that has.<br>
<br>
Best of luck!<br>
Chris<br>
-- <br>
 Chris Samuel  :  <a href="http://www.csamuel.org/" rel="noreferrer" target="_blank">http://www.csamuel.org/</a>  :  Melbourne, VIC<br>
<br>
<br>
<br>
<br>
</blockquote></div>