Как запустить сценарий MPI Python на нескольких узлах в кластере Slurm? Ошибка: Предупреждение: невозможно запустить 1 п ⇐ Python

[Anonymous]

Я запускаю сценарий в кластере Slurm, который может выиграть от параллельной обработки, поэтому я пытаюсь реализовать MPI. Однако, похоже, это не позволяет мне запускать процессы на нескольких узлах. Я не знаю, делается ли это обычно автоматически, но всякий раз, когда я устанавливаю --nodes=2 в пакетном файле для отправки, я получаю сообщение об ошибке:

"Внимание: невозможно запустить 1 процесс на 2 узлах, установив для nnodes значение 1".

Я пытался заставить это работать с помощью простого сценария Hello World, но все равно сталкиваюсь с вышеуказанной ошибкой. Я добавил --oversubscribe к параметрам при запуске сценария MPI, но все равно получаю эту ошибку.

Код: Выделить всё

#SBATCH --job-name=a_test
#SBATCH --mail-type=ALL
#SBATCH --ntasks=1
#SBATCH --cpu-freq=high
#SBATCH --nodes=2
#SBATCH --cpus-per-task=2
#SBATCH --mem-per-cpu=1gb
#SBATCH --mem-bind=verbose,local
#SBATCH --time=01:00:00
#SBATCH --output=out_%x.log

module load python/3.6.2
mpirun -np 4 --oversubscribe python par_PyScript2.py

Я по-прежнему получаю ожидаемый результат, но только после сообщения об ошибке:

"Внимание: невозможно запустить 1 процесс на 2 узлах, установка nnodes в 1."

Меня беспокоит, что без возможности запуска на нескольких узлах мой фактический сценарий будет намного медленнее.

Подробнее здесь: https://stackoverflow.com/questions/566 ... error-warn