<div dir="ltr">Dear Mike and Jan,<div><br></div><div>Thank you for your suggestions. Mike, your script was close to what I had in mind, though way more elegant. So I appreciate it!</div><div><br></div><div>Also Jan, thank you for pointing out snakemake. Apparently people do use it with Slurm, so I'm looking into it. Probably overkill at this point for most of our users, but it's nice to know that it's an option.</div><div><br></div><div>Warmest regards,</div><div>Jason</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Mar 2, 2021 at 4:36 PM Jan van der Laan <<a href="mailto:slurm@eoos.dds.nl">slurm@eoos.dds.nl</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
Snakemake is a tool to manage job dependencies. I don't have experience <br>
using this in a slurm context, but I have used Snakemake to manage <br>
complex depencies in workflows in other contexts. Snakemake should <br>
support slurm.<br>
<br>
HTH,<br>
Jan<br>
<br>
<br>
On 02-03-2021 20:16, Jason Simms wrote:<br>
> Hello all,<br>
> <br>
> I am relatively new to the nuances of handling complex dependencies in <br>
> Slurm, so I'm hoping the hive mind can help. I have a user wanting to <br>
> accomplish the following:<br>
> <br>
>   * submit one job<br>
>   * submit multiple jobs that are dependent on the output from the first<br>
>     job (so they just need to launch once the first job has completed)<br>
>   * submit one final job dependent on all the previous jobs completing<br>
> <br>
> Is there a way to do this cleanly? So it's a three stage process. I have <br>
> ideas in my head of writing Slurm JobIDs to a file, reading them out, <br>
> and managing dependencies that way, but perhaps there is a more <br>
> efficient way (or perhaps not!).<br>
> <br>
> Warmest regards,<br>
> Jason<br>
> <br>
> -- <br>
> *Jason L. Simms, Ph.D., M.P.H.*<br>
> Manager of Research and High-Performance Computing<br>
> XSEDE Campus Champion<br>
> Lafayette College<br>
> Information Technology Services<br>
> 710 Sullivan Rd | Easton, PA 18042<br>
> Office: 112 Skillman Library<br>
> p: (610) 330-5632<br>
<br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div style="color:rgb(0,0,0);font-family:Helvetica;font-size:14px;margin:0px"><span style="color:rgb(130,36,51)"><font face="Century Gothic"><b>Jason L. Simms, Ph.D., M.P.H.</b></font></span></div><div style="color:rgb(0,0,0);font-family:Helvetica;font-size:14px;margin:0px"><font face="Century Gothic"><span>Manager of Research and High-Performance Computing</span></font></div><div style="color:rgb(0,0,0);font-family:Helvetica;font-size:14px;margin:0px"><font face="Century Gothic"><span>XSEDE Campus Champion<br></span><span style="color:gray">Lafayette College<br>Information Technology Services<br>710 Sullivan Rd | Easton, PA 18042<br>Office: 112 Skillman Library<br>p: (610) 330-5632</span></font></div></div></div></div></div></div></div></div></div>