Pytorch странным образом выбрасывает ошибку нехватки памяти графического процессора ⇐ Python

[Anonymous]

Я пытаюсь запустить модель 770M на RTX 4070 (8G) с 64 ГБ ОЗУ, и у меня возникает эта ошибка:

OutOfMemoryError: CUDA не хватает памяти . Пытался выделить 146,00 МБ. Графический процессор 0 имеет общую емкость 8,00 ГиБ, из которых 0 байт свободны. Из выделенной памяти 37,52 ГиБ выделяется PyTorch, а 508,53 МБ зарезервировано PyTorch, но нераспределено. Если зарезервированная, но нераспределенная память велика, попробуйте установить PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True, чтобы избежать фрагментации. См. документацию по управлению памятью (https://pytorch.org/docs/stable/notes/c ... -variables)

У меня 300 образцов набора данных для точной настройки базовой модели t5, все работало нормально, но когда я попробовал t5-large, выдало эту ошибку.
Это произошло внезапно, какая-нибудь практическая помощь? p>
Я пытался выполнить torch.cuda.empty_cache(), чтобы очистить кеш, как было предложено, но это не помогло.
То же самое Базовая модель t5 теперь выдает ту же ошибку, и я запускал ее несколько раз для обучения в последние дни, но этой ошибки не возникало.

Подробнее здесь: https://stackoverflow.com/questions/790 ... izarre-way