Python Multiprocessing.Process висит, когда в обоих процессах инициализируются крупные тензоры Pytorch ⇐ Python

[Anonymous]

Почему код, показанный ниже, либо заканчивается нормально, либо висит в зависимости от того, какие строки комментируются/не построены, как описано в таблице ниже? Тенсоры в обоих процессах без использования «Spawn» , программа висит. Я могу исправить это, сделав либо тензор меньше, либо с помощью «spawn» < /code>. < /P>
Примечание: < /p>

• < li> Вся память - чисто процессор, у меня даже нет CUDA, установленной на этом компьютере
• Эта проблема не возникает, если я заменяю Torch на Numpy , Даже если я сделаю массив Размер 10x больше
• Информация о версии: Ubuntu 22.04.1 LTS, Python 3.10.12, Torch 2.1.2+CPU

неуместно
прокомментировано
поведение




(1), (4) < /td>
(2), (3), (5)
Hang < /td>
< /tr>

(2), (4) < /td>
(1), (3), (5) < /td>
ok < /td>
< /tr>

( 1), (5)
(2), (3), (4)
ok

(1), (3), (4) < /td>
(2), (5) < /td>
ok



import multiprocessing as mp
import torch

def train():
print("start of train")
x = torch.arange(100000) # (1)
x = torch.arange(10000) # (2)
print("end of train")

if __name__ == "__main__":
mp.set_start_method('spawn') # (3)
x = torch.arange(100000) # (4)
x = torch.arange(10000) # (5)
p = mp.Process(target=train)
p.start()
p.join()


Подробнее здесь: https://stackoverflow.com/questions/794 ... nitialised