<div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-family:courier new,monospace">Is using "#!/bin/bash -l" enough to make it work?</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Mar 31, 2022 at 6:46 AM Sebastian Potthoff <<a href="mailto:s.potthoff@uni-muenster.de">s.potthoff@uni-muenster.de</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;">Just a quick follow up, that I could resolve the issue. Maybe this helps someone in the future.<div><br></div><div> $BASH_ENV was pointing to a deprecated script, resetting the module environment. This only is an issue for non-interactive, non-login shells (i.e. sbatch) and the issue was therefore not seen when running in an interactive slurm session. </div><div><br></div><div>I addition „ldd“ seems to create a subprocess/shell? Using </div><div><br></div><div>/usr/lib64/ld-linux-x86-64.so.2 --list /path/to/binary</div><div><br></div><div> did not have the described issue. </div><div><br></div><div>Concerning other self-compile binaries, which seemed to work fine: those had a set an RPATH and were therefore always finding the correct MPI libs.</div><div><br></div><div>Kind regards</div><div>Sebastian<br><div><br><blockquote type="cite"><div>Am 30.03.2022 um 18:08 schrieb Sebastian Potthoff <<a href="mailto:s.potthoff@uni-muenster.de" target="_blank">s.potthoff@uni-muenster.de</a>>:</div><br><div><div style="overflow-wrap: break-word;">Hi Noam,<div><br></div><div>Thanks for your suggestion - I already did this and confirmed the modules and LD_LIBARARY_PATH are set correctly. Also if there was something wrong here, all of this would not work with self-compiled binaries, which it does… which baffles me :-/</div><div><br></div><div><div><br><blockquote type="cite"><div>Am 30.03.2022 um 17:51 schrieb Bernstein, Noam CIV USN NRL (6393) Washington DC (USA) <<a href="mailto:noam.bernstein@nrl.navy.mil" target="_blank">noam.bernstein@nrl.navy.mil</a>>:</div><br><div><span style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none;float:none;display:inline">One possibility is that something about the environment in the running batch job is making the "module load" commands fail, which they can do without any error (for old fashioned tcl-based env modules).  Do "module list" after, and echo $LD_LIBRARY_PATH, to confirm that it really is being set correctly in the batch job.</span><br style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"></div></blockquote></div><br></div></div></div></blockquote></div><br></div></div></blockquote></div><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><br style="color:rgb(34,34,34)"></div></div></div></div>