Разрешение иерр: [Errno 13] разрешение отказано (Slurm) ⇐ Python

[Anonymous]

В настоящее время я работаю на вычислительных узлах моего университета, чтобы обучить свою модель Pytorch. Мои данные также находятся в удаленной файловой системе университета. У меня есть num_workers> 0, и несколько пробежек продолжаются параллельно. Хотя у меня никогда не было этой проблемы раньше, теперь все мои пробежки, кажется, сбой с этой ошибкой: < /p>
PermissionError: Caught PermissionError in DataLoader worker process 6.
Original Traceback (most recent call last):
File "/root/miniconda3/envs/MASynth/lib/python3.9/site-packages/torch/utils/data/_utils/worker.py", line 308, in _worker_loop
data = fetcher.fetch(index) # type: ignore[possibly-undefined]
File "/root/miniconda3/envs/MASynth/lib/python3.9/site-packages/torch/utils/data/_utils/fetch.py", line 51, in fetch
data = [self.dataset[idx] for idx in possibly_batched_index]
File "/root/miniconda3/envs/MASynth/lib/python3.9/site-packages/torch/utils/data/_utils/fetch.py", line 51, in
data = [self.dataset[idx] for idx in possibly_batched_index]
File "/remote/fs/users/UNet/code/mat_unet/version_4/data_3.py", line 183, in __getitem__
sample['semantic']= to_tensor(normalize_images(np.expand_dims(cv2.resize(read_npz(semantic_dir), dsize=(256, 256), interpolation=cv2.INTER_NEAREST), axis=0), max_val=40))
File "/remote/fs/users/users/UNet/code/mat_unet/version_4/utils.py", line 469, in read_npz
with np.load(file) as data:
File "/root/miniconda3/envs/MASynth/lib/python3.9/site-packages/numpy/lib/npyio.py", line 427, in load
fid = stack.enter_context(open(os_fspath(file), "rb"))
PermissionError: [Errno 13] Permission denied: '/remote/fs/datasets/dataset_name/version_2.0/folder1/folder2/file.npz
< /code>
Все мои прогоны сбоя в разное время с указателями на разные файлы. Что может вызвать это и как я могу это исправить? любые проблемы. Я проверил все разрешения, необходимые для этого набора данных, и они в порядке. Я стараюсь изо всех сил, чтобы убедиться, что мой код не содержат ошибок, но все еще не в состоянии обойти «ошибку разрешения».

Подробнее здесь: https://stackoverflow.com/questions/794 ... nied-slurm