Когда SLURM начинает выполнение задачи, для фактического запуска задачи все равно требуется много времени. ⇐ Linux

[Anonymous]

Я отправил задачу SLURM, простой скрипт для загрузки данных. SLURM запускает эту задачу немедленно, но для фактического запуска моего кода Python все равно требуется много времени.
Мой SLURM сценарий:

Код: Выделить всё

#!/bin/bash
#SBATCH -J data
#SBATCH -p q_cn
#SBATCH -0 msg/job.%j.out
#SBATCH -n 1
#SBATCH --nodelist c03b02n01

export http_proxy=123.123.123.123:8888
export HTTP PROXY=123.123.123.123:8888
export https_proxy=123.123.123.123:8888
export HTTPS_PROXY=123.123.123.123:8888
export all_proxy=123.123.123.123:8888
export ALL_PROXY=123.123.123.123:8888

source activate my_conda_env
which python
python -V
python data_download.py
conda deactivate

Когда я отправляю это задание SLURM, оно должно выполняться немедленно, поскольку в моем кластере много простаивающих вычислительных ресурсов. Однако при проверке выходного файла видно, что задание перестает выполняться после первых нескольких строк перед запуском команды «python data_download.py».
Я не уверен, ' прекращает работу» — правильный термин, но, судя по операторам печати, которые я установил в своем скрипте Python, команда «python data_download.py» не выполняется немедленно. Прежде чем команда python data_download.py будет фактически выполнена, пройдет много времени, возможно, несколько часов.
Я не понимаю, почему системе требуется так много времени для выполнения моего Python. скрипт.
Выходной файл выглядит следующим образом:

Код: Выделить всё

/home/lab/user/.conda/envs/my_conda_env/bin/python
Python 3.10.4
### And after a long time, it starts outputting the content of my python script.

Теоретически, после последовательного выполнения предыдущего сценария оболочки, система должна приступить к выполнению кода Python. Однако этого не происходит.

Подробнее здесь: https://stackoverflow.com/questions/784 ... -task-to-a