在SLURM中使用sbatch命令时如何导入本地python模块


问题内容

我正在使用集群管理器Slurm,并且正在运行带有sbatch的提交脚本(带有python
interpeter)。sbatch提交导入了我的一个名为的模块main_nn.py。该模块与我的提交目录位于同一位置,但是,即使文件存在,python也无法找到它。我很难弄清楚为什么会这样。我的python文件如下所示:

#!/usr/bin/env python
#SBATCH --job-name=Python

print('hi')

import main_nn

但是我的Slurm转储文件的输出是:

hi
Traceback (most recent call last):
    File "/home/slurm/slurmd/job3223398/slurm_script", line6, in <module>
        import main_nn
ImportError: No module named main_nn

我尝试检查模块main_nn是否在当前目录中,并且确实存在。因此,对我来说可疑的第一件事是Slurm文件中的错误表明我的脚本的位置位于"/home/slurm/slurmd/job3223398/slurm_script"而不是path_to_project。因此,我继续增加了一行

os.system('pwd')

看看我的脚本在哪里执行,令我惊讶的是它在哪里执行,path_to_project而不是在"/home/slurm/slurmd/job3223398/slurm_script"那个地方执行,这一定意味着sbatch在执行某个脚本时很时髦,但又在另一个位置执行了脚本。如果是这种情况,我应该如何在python中与模块中的提交脚本位于同一位置的位置进行导入?我是否被迫将其放在软件包中并欺骗python以使其在软件包/库中?


问题答案:

当Slurm将提交脚本复制到计算节点上的特定位置以运行它时,您的Python脚本将找不到提交目录中的模块。

但是Slurm正确设置了当前工作目录,因此您可以使用类似以下内容的方法将其显式添加到python路径:

sys.path.append(os.getcwd())

在脚本开头附近。