<div dir="ltr"><div>Hi David,</div><div><br></div>There are several approaches to have a shared filesystem namespace without an actual shared filesystem. One issue you will have to contend with is how to handle any kind of filesystem caching (how much room to allocate for local cache, how to handle cache inconsistencies).<div><br></div><div>examples: </div><div>gcsfuse for fronting GCS buckets <a href="https://github.com/SchedMD/slurm-gcp">https://github.com/SchedMD/slurm-gcp</a></div><div><span style="color:rgb(77,81,86);font-family:arial,sans-serif;font-size:14px">CVMFS for Open Science Grid</span><br></div><div><span style="color:rgb(77,81,86);font-family:arial,sans-serif;font-size:14px"><br></span></div><div><span style="color:rgb(77,81,86);font-family:arial,sans-serif;font-size:14px">One thing you could ask is how big the datasets are for this particular research group.  If they are small, maybe they can get away with copying files around all the time; example slide deck that discusses this:</span></div><div><a href="https://opensciencegrid.org/user-school-2018/materials/day4/files/osgus18-day4-part4-output-shared-fs.pdf">https://opensciencegrid.org/user-school-2018/materials/day4/files/osgus18-day4-part4-output-shared-fs.pdf</a><span style="color:rgb(77,81,86);font-family:arial,sans-serif;font-size:14px"><br></span></div><div><br></div><div>But all of that adds complexity and if it's a local physical cluster it is easiest to just have shared storage.</div><div><br></div><div>Regards,</div><div>Alex</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Jun 19, 2020 at 7:23 AM Brian Andrus <<a href="mailto:toomuchit@gmail.com">toomuchit@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
  
    
  
  <div>
    <p>It sounds like you are asking if there should be a shared /home,
      which you do not need. You do need to ensure a user can access the
      environment for the node (a home directory, ssh keys, etc).</p>
    <p><br>
    </p>
    <p>If you are asking about the job binary and the data it will be
      processing, again, you do not. You could, for example, install the
      binary on all the nodes.</p>
    <p>If your job fetches its own data to work on (say a script that
      will download/prep .grib files and then run wrf) then there is no
      need for a shared filesystem.</p>
    <p>You will, of course, need to stage the results out somewhere as
      well to access them outside the cluster.</p>
    <p><br>
    </p>
    <p>Brian Andrus<br>
    </p>
    <p><br>
    </p>
    <div>On 6/19/2020 5:04 AM, David Baker
      wrote:<br>
    </div>
    <blockquote type="cite">
      
      
      <div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
        Hello,</div>
      <div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
        <br>
      </div>
      <div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
        We are currently helping a research group to set up their own
        Slurm cluster. They have asked a very interesting question about
        Slurm and file systems. That is, they are posing the question --
        do you need a shared user file store on a Slurm cluster?</div>
      <div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
        <br>
      </div>
      <div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
        So, in the extreme case where this is no shared file store for
        users can slurm operate properly over a cluster? I have seen
        commands like sbcast to move a file from the submission node to
        a compute node, however that command can only transfer one file
        at a time. Furthermore what would happen to the standard output
        files? I'm going to guess that there must be a shared file
        system, however it would be good if someone could please confirm
        this.</div>
      <div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
        <br>
      </div>
      <div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
        Best regards,</div>
      <div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
        David</div>
      <div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
        <br>
      </div>
      <div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
        <br>
      </div>
    </blockquote>
  </div>

</blockquote></div>