<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p.msonormal0, li.msonormal0, div.msonormal0
        {mso-style-name:msonormal;
        mso-margin-top-alt:auto;
        margin-right:0cm;
        mso-margin-bottom-alt:auto;
        margin-left:0cm;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
span.EmailStyle19
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal">Robert,<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">There is a pretty good consensus here that the RPM that Bright is providing do not support NVML.<o:p></o:p></p>
<p class="MsoNormal">If you need this function and you do not want to attempt building your own RPM on a node with the Nvidia drivers installed, have you considered contacting the Bright support? This would be the best route since it is clearly not a Slurm
 issue, but a build configuration issue.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<p class="MsoNormal">-- <o:p></o:p></p>
<p class="MsoNormal"><b>Davide Vanzo, PhD<o:p></o:p></b></p>
<p class="MsoNormal"><i>Computer Scientist<o:p></o:p></i></p>
<p class="MsoNormal">BioHPC – Lyda Hill Dept. of Bioinformatics<o:p></o:p></p>
<p class="MsoNormal">UT Southwestern Medical Center<o:p></o:p></p>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal"><b>From:</b> slurm-users <slurm-users-bounces@lists.schedmd.com>
<b>On Behalf Of </b>Robert Kudyba<br>
<b>Sent:</b> Wednesday, April 8, 2020 2:17 PM<br>
<b>To:</b> Slurm User Community List <slurm-users@lists.schedmd.com><br>
<b>Subject:</b> Re: [slurm-users] Header lengths are longer than data received after changing SelectType & GresTypes to use MPS<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto;line-height:12.0pt;background:#BDD6EE">
<b><span style="font-size:12.0pt;color:black">EXTERNAL MAIL</span></b><o:p></o:p></p>
<div>
<div>
<div>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0cm 0cm 0cm 6.0pt;margin-left:4.8pt;margin-right:0cm">
<div>
<div>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0cm 0cm 0cm 6.0pt;margin-left:4.8pt;margin-right:0cm">
<p class="MsoNormal">> and the NVIDIA Management Library (NVML) is installed on the node and
<br>
> was found during Slurm configuration<br>
<br>
That's the key phrase - when whoever compiled Slurm ran ./configure <br>
*before* compilation it was on a system without the nvidia libraries and <br>
headers present, so Slurm could not compile that support in.<br>
<br>
You'll need to redo the build on a system with the nvidia libraries and <br>
headers in order for this to work.<o:p></o:p></p>
</blockquote>
</div>
</div>
</blockquote>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">As I wrote we use Bright Cluster on CentOS 7.7. So we just follow <a href="https://support.brightcomputing.com/manuals/8.2/admin-manual.pdf#subsection.7.5.1" target="_blank">their instructions</a> to use yum install slurm20, here they show
 Slurm 19 but it's the same for 20:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Example<br>
<span style="font-family:"Courier New"">[root@bright82 ~]# rpm -qa | grep slurm | xargs -p rpm -e<br>
[root@bright82 ~]# rpm -qa -r /cm/images/default-image |grep slurm |xargs -p rpm -r /cm/images/default-image -e<br>
[root@bright82 ~]# yum install slurm19-client slurm19-slurmdbd slurm19-perlapi slurm19-contribs slurm19<br>
[root@bright82 ~]# yum install --installroot=/cm/images/default-image slurm19-client</span><br>
If either slurm or slurm19 is installed, then the administrator can run wlm-setup using the workload manager name slurm—that is without the 19 suffix–to set up Slurm. The roles at node level, or category level—slurmserver and slurmclient—work with either Slurm
 version.<br>
Configuring Slurm<br>
After package setup is done with wlm-setup (section 7.3), Slurm software components are installed in <span style="font-family:"Courier New"">/cm/shared/apps/slurm/current.</span><br>
Slurm clients and servers can be configured to some extent via role assignment (sections 7.4.1 and 7.4.2). Using cmsh, advanced option parameters can be set under the slurmclient role:<br>
For example, the number of cores per socket can be set:<br>
Example<br>
<span style="font-family:"Courier New"">[bright82->category[default]->roles[slurmclient]]% set corespersocket 2<br>
[bright82->category*[default*]->roles*[slurmclient*]]% commit</span><br>
In order to configure generic resources, the genericresources mode can be used to set a list of objects. Each object then represents one generic resource available on nodes. Each value of name in genericresources must already be defined in the list of GresTypes.
 The list of GresTypes is defined in the slurmserver role. Several generic resources entries can have the same value for name (for example gpu), but must have a unique alias. The alias is a string that is used to manage the resource entry in cmsh or in Bright
 View. The string is enclosed in square brackets in cmsh, and is used instead of the name for the object. The alias does not affect Slurm configuration.<br>
<br>
For example, to add two GPUs for all the nodes in the default category which are of type k20xm, and to assign them to different CPU cores, the following cmsh commands can be run:<br>
Example<br>
<span style="font-family:"Courier New"">[bright82]% category use default<br>
[bright82->category[default]]% roles<br>
[bright82->category[default]->roles]% use slurmclient<br>
[...[slurmclient]]% genericresources<br>
[...[slurmclient]->genericresources]% add gpu0<br>
[...[slurmclient*]->genericresources*[gpu0*]]% set name gpu<br>
[...[slurmclient*]->genericresources*[gpu0*]]% set file /dev/nvidia0<br>
[...[slurmclient*]->genericresources*[gpu0*]]% set cores 0-7<br>
[...[slurmclient*]->genericresources*[gpu0*]]% set type k20xm<br>
[...[slurmclient*]->genericresources*[gpu0*]]% add gpu1<br>
[...[slurmclient*]->genericresources*[gpu1*]]% set name gpu<br>
[...[slurmclient*]->genericresources*[gpu1*]]% set file /dev/nvidia1</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:"Courier New""> </span><o:p></o:p></p>
</div>
</div>
</div>
</div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto;line-height:12.0pt;background:#BDD6EE">
<b><span style="font-size:12.0pt;color:black">CAUTION: </span></b><span style="font-size:12.0pt;color:black">This email originated from outside UTSW. Please be cautious of links or attachments, and validate the sender's email address before replying.</span><o:p></o:p></p>
</div>
<br>
<hr>
<table border="0" cellpadding="0">
<tbody>
<tr>
<td><!-- Copyright 2015. UT Southwestern Medical Center 12082014v1 -->
<p align="right" style="text-align:right"><span style="font-size:17pt;letter-spacing:-3px;font-family:"Helvetica","sans-serif";color:#0054A0;font-weight:bolder;">UT</span><span style="font-size:17pt;letter-spacing:-0px;font-family:"Helvetica","sans-serif";color:#0054A0;font-weight:bolder;">
 Southwestern</span> </p>
</td>
</tr>
<tr>
<td>
<p align="right" style="text-align:right"><span style="font-size:13pt;font-family:"Helvetica","sans-serif";color:#666D70;">Medical Center</span></p>
</td>
</tr>
<tr>
<td></td>
</tr>
<tr>
<td>
<p style="text-align:right"><span style="font-size:10pt;font-family:"Helvetica","sans-serif"; color:#666D70;">The future of medicine, today.</span></p>
</td>
</tr>
</tbody>
</table>
</body>
</html>