<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Almost every place I worked built some site-specific tools for managing jobs that some people found very useful.  E.g.<div><a href="https://github.com/StanfordBioinformatics/SJM">https://github.com/StanfordBioinformatics/SJM</a></div><div><a href="http://clusterjob.org/">http://clusterjob.org/</a><br></div><div><br></div><div>There have also been some efforts to standardize this sort of thing:</div><div><a href="https://www.commonwl.org/">https://www.commonwl.org/</a><br></div><div><br></div><div>I have not used any of them myself.</div></div></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Jan 18, 2019 at 9:16 AM Erik Surface <<a href="mailto:erik.surface@gmail.com">erik.surface@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div dir="ltr">Hi, I am a slurm end-user needing to run ~250k jobs, each takes ~2-4 hrs. With the traffic on our cluster and a limit of 7000 job submissions at a time, it will take about a month to run the full set, if we are lucky. <div><br></div><div>I built a generic tool (in bash, currently) that automates the tracking and submission of jobs on the system. More info here: <a href="https://github.com/esurface/smanage" target="_blank">https://github.com/esurface/smanage</a></div><div><br></div><div>Are there other tools like this in the wild? Is this something helpful to this community or its end-users? Would it be worth building it out in a more digestible form ('C', API, etc.)?<br></div><div><br></div><div>Thanks,</div><div>Erik</div><div><br></div><div><div><br></div></div></div></div></div>
</blockquote></div>