Как избежать «CUDA нехватки памяти» в PyTorch ⇐ Python

[Anonymous]

Думаю, это довольно распространенное сообщение для пользователей PyTorch с нехваткой памяти графического процессора:

Код: Выделить всё

RuntimeError: CUDA out of memory. Tried to allocate X MiB (GPU X; X GiB total capacity; X GiB already allocated; X MiB free; X cached)

Я пытался обработать изображение, загружая каждый слой в графический процессор, а затем загружая его обратно:

Код: Выделить всё

for m in self.children():
m.cuda()
x = m(x)
m.cpu()
torch.cuda.empty_cache()

Но, похоже, это не очень эффективно. Мне интересно, есть ли какие-нибудь советы и рекомендации по обучению больших моделей глубокого обучения при использовании небольшого объема памяти графического процессора.


Подробнее здесь: https://stackoverflow.com/questions/591 ... in-pytorch