Ошибка выполнения графического процессора, когда память доступна ⇐ Python

[Anonymous]

В настоящее время я обучаю некоторые модели нейронных сетей и обнаружил, что по какой-то причине модель иногда дает сбой до ~200 итераций из-за ошибки во время выполнения, несмотря на наличие доступной памяти. Ошибка:

Код: Выделить всё

RuntimeError: CUDA out of memory. Tried to allocate 2.00 MiB (GPU 0; 10.76 GiB total capacity; 1.79 GiB already allocated; 3.44 MiB free; 9.76 GiB reserved in total by PyTorch)

Это показывает, что используется всего ~1,8 ГБ ОЗУ, хотя должно быть доступно 9,76 ГБ.
Я обнаружил, что, когда я нахожу хорошее начальное число (просто путем случайного поиска), и модель проходит первые несколько сотен итераций, впоследствии она обычно работает нормально. Кажется, что на ранних этапах обучения у модели не так много памяти, но я не знаю, как это решить.