<div dir="ltr"><div>Matt, I back up what Loris said regarding interactive jobs.</div><div><br></div><div>I am sorry to sound ranty here, but my experience teaches me that in cases like this you must ask why this is being desired.</div><div>Hey - you are the systems expert. If you get the user to explain why they desire this functionality, it actually helps you do your job well.</div><div>You can do the following:</div><div>*) Say - wow, thatø's interesting. I know a better way we can implement this, I read about technique XYZ only last week</div><div>*) Say - A OK, I will write a script or alter our configuration to do just what you want</div><div>*) Say - well no. What you want to do will have a huge imnpact, destroy our system and prevent other users running on the system</div><div><br></div><div>As I said sorry to sound ranty, but if you tease out what is goign on here you might find there is a very elegant solution just waiting there.</div><div><br></div><div>At a guess, what is happening is that you have users who want to run visualization sessions for a short time, using GPUs on large memory servers?</div><div>Maybe you should look at checkpointing and restarting the compute jobs, and see how fas this could be done.<br></div><div><br></div><div><br></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On 13 June 2018 at 07:53, Loris Bennett <span dir="ltr"><<a href="mailto:loris.bennett@fu-berlin.de" target="_blank">loris.bennett@fu-berlin.de</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Matt,<br>
<span class=""><br>
Matt Hohmeister <<a href="mailto:hohmeister@psy.fsu.edu">hohmeister@psy.fsu.edu</a>> writes:<br>
<br>
> Relatively new to Slurm here; I have someone who has asked if the<br>
> following is possible:<br>
><br>
> Allow Slurm to use as much memory on a node as exists on the node<br>
> itself. If someone is running a process outside of Slurm, decrease<br>
> Slurm’s memory usage to make way for the non-Slurm process.<br>
><br>
> Is such a thing possible?<br>
<br>
<br>
</span>I don't think this is possible.  Once Slurm has allocated memory to a<br>
job, it cannot currently be changed.<br>
<br>
However, from my point of view, you really don't want to do this anyway.<br>
The whole idea of a resource manager like Slurm is to maximise the<br>
utilisation of your resources.  If you have people running jobs outside<br>
of Slurm as well, you will generate major headaches for yourself.  You<br>
can increase the responsiveness some users within Slurm by tweaking the<br>
priorities (via accounts, partitions, QOS, ...)<br>
<br>
You could look at interactive jobs, whereby a user can just use 'srun'<br>
to start a shell on a node, e.g.<br>
<br>
  srun --ntasks=1 --time=00:30:00 --mem=1000 bash<br>
<br>
Of course, this will only work well if your cluster is not full or you<br>
have a dedicated partition and, ultimately, also leads to resources<br>
being wasted.<br>
<br>
HTH,<br>
<br>
Loris<br>
<span class="HOEnZb"><font color="#888888"><br>
-- <br>
Dr. Loris Bennett (Mr.)<br>
ZEDAT, Freie Universität Berlin         Email <a href="mailto:loris.bennett@fu-berlin.de">loris.bennett@fu-berlin.de</a><br>
<br>
</font></span></blockquote></div><br></div>