Как избежать «CUDA нехватки памяти» в PyTorch ⇐ Python

[Anonymous]

Я думаю, это довольно распространенное сообщение для пользователей PyTorch с нехваткой памяти графического процессора:

RuntimeError: CUDA не хватает памяти. Попытка выделить X MiB (GPU X; общая емкость X GiB; X GiB уже выделено; X MiB свободно; X кэшировано) Я пытался обработать изображение, загружая каждый слой в графический процессор, а затем загружая его обратно:

для m в self.children(): м.куда() х = м (х) м.процессор() torch.cuda.empty_cache() Но, похоже, это не очень эффективно. Мне интересно, есть ли какие-нибудь советы и рекомендации по обучению больших моделей глубокого обучения при использовании небольшого количества памяти графического процессора.