
<html><head><meta http-equiv="Content-Type" content="text/html charset=utf-8"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">After some more digging this turns out to be the same issue as in Bug 4153 and was fixed on September 27th 2017.<div class="">If you’ve upgraded to 17.02/17.11 prior to this date, be sure to check your reqmem data.</div><div class=""><br class=""><div><blockquote type="cite" class=""><div class="">Am 26.01.2018 um 11:59 schrieb Lech Nieroda <<a href="mailto:lech.nieroda@uni-koeln.de" class="">lech.nieroda@uni-koeln.de</a>>:</div><br class="Apple-interchange-newline"><div class=""><meta http-equiv="Content-Type" content="text/html charset=utf-8" class=""><div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">Dear slurm users,<div class=""><br class=""></div><div class="">we have run into a problem after upgrading from slurm 15.08.12 to 17.02.6 back in August 2017: all old jobs which had their memory requested with the ‚mem-per-cpu’ option have shown absurd values in the ‚reqmem‘ attribute when queried with sacct.</div><div class="">The values were somewhere in the PetaByte range, whereas they should have been in the GigaByte range.</div><div class=""><br class=""></div><div class="">An analysis of the issue has shown the following:</div><div class="">The attribute corresponding to ‚reqmem’ in the database is ‚mem_req‘ in the ‚cheops_job_table‘ table. It stores both ‚mem‘ and ‚mem-per-cpu’ values - the ‚mem‘ value is stored directly and the ‚mem-per-cpu’ is stored with a certain flag (bit) set.</div><div class="">In slurm 15.08.12 the ‚mem_req‘ attribute is a simple int (32bit) and the flag is the 32nd bit.</div><div class="">In slurm 17.02.6 the ‚mem_req‘ attribute is a bigint (64bit) and the flag is the 64th bit.</div><div class="">Thus the 'mem-per-cpu‘ values with ‚2^31‘ „added" to them appeared as PetaBytes.</div><div class=""><br class=""></div><div class="">The uint32_t -> uint64_t change took place with the commit at 2016-06-27 with the adnotation that it requires further "table conversion logic to MySQL, as mem_req column needs to change type to 'bigint unsigned' from 'int unsigned‘.“.</div><div class="">I don’t know if this work has been done but when we’ve upgraded slurm and the database was converted automatically, the values were not corrected and there was no error concerning this issue. </div><div class=""><br class=""></div><div class="">In case you have run into something similar, the fix is simple - we’ve converted the values ‚manually‘, i.e. made a query that selected all entries with 2^31 <= mem_req < 2^63, made a backup, cleared the 2^31 bit, set the 2^63 bit, stored and checked the values.</div><div class=""><br class=""></div><div class=""><br class=""></div><div class="">Regards,</div><div class="">Lech</div><div class=""><br class=""></div><div class="">

<div style="letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><div style="letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><div class="">--</div><div class="">Dipl.-Wirt.-Inf. Lech Nieroda<br class="">Regionales Rechenzentrum der Universität zu Köln (RRZK)<br class=""><br class=""></div><div class=""><br class=""></div></div><br class="Apple-interchange-newline"></div><br class="Apple-interchange-newline"><br class="Apple-interchange-newline">

</div>

<br class=""></div></div></blockquote></div><div class=""><br class=""></div><div class="">Regards,</div><div class="">Lech</div><br class=""><div class="">

<div style="color: rgb(0, 0, 0); letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><div style="color: rgb(0, 0, 0); letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><div class="">--</div><div class="">Dipl.-Wirt.-Inf. Lech Nieroda<br class="">Regionales Rechenzentrum der Universität zu Köln (RRZK)<br class=""><br class=""></div><div class=""><br class=""></div></div><br class="Apple-interchange-newline"></div><br class="Apple-interchange-newline"><br class="Apple-interchange-newline">

</div>

<br class=""></div></body></html>