Начало работы без требований к памяти графического процессора ⇐ Linux

[Anonymous]

У меня есть изображение сингулярности, которое мне нужно запустить в кластере Slurm.
Теперь я сталкиваюсь с проблемой, что требования к памяти по графическому графику, похоже, игнорируются Slurm, некоторые из моих работ начинаются, и через несколько секунд они закончились памятью и отменены. />
torch.outofmemoryerror: cuda out из памяти. Пытался выделить 320,00 миб. GPU 0 имеет общую мощность 10,75 GIB, из которых 1,04 GIB свободен. Включая память не питаторной, этот процесс имеет 9,71 память GIB. 9,67 допустил Гиб; Из выделенной памяти 9.49 GIB выделяется Pytorch, а 24,95 MIB зарезервировано Pytorch, но не раскрывается. Если зарезервированная, но нераспределенная память - это большая попытка установить pytorch_cuda_alloc_conf = expandable_segments: true, чтобы избежать фрагментации. См. Документация по управлению памятью (https://pytorch.org/docs/stable/notes/c ... -variables) написан/>
my slurm config в job.sh

#SBATCH --job-name=segmentation_job
#SBATCH --partition=centos7
#SBATCH --mem-per-gpu=12000
#SBATCH --exclude=on0,cn2
#SBATCH --time=48:00:00
#SBATCH --nodes=1
#SBATCH --ntasks-per-node=2
#SBATCH --gres=gpu:1
#SBATCH --output=/home/cir/dholomcik/slurmLogs/seg_job%j.out
#SBATCH --export=ALL,PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
< /code>
Я уже пробовал несколько комбинаций инструкций Slurm - больше графических процессоров, памяти, ...
В данном случае здесь GPU не должен использоваться для работы, он имеет меньше 12000 МБ памяти графического процессора. Кроме того, из 10,75 ГБ памяти, которую имел GPU, было доступно только 1,04.>

Подробнее здесь: https://stackoverflow.com/questions/795 ... -being-met