Cuda странным образом выбрасывает ошибку нехватки памяти ⇐ Python

[Anonymous]

Я пытаюсь запустить модель 770M на RTX 4070 (8G) с 64 ГБ оперативной памяти, и у меня возникает такая ошибка:

Код: Выделить всё

OutOfMemoryError: CUDA out of memory. Tried to allocate 146.00 MiB. GPU 0 has a total capacity of 8.00 GiB of which 0 bytes is free. Of the allocated memory 37.52 GiB is allocated by PyTorch, and 508.53 MiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True to avoid fragmentation.  See documentation for Memory Management  (https://pytorch.org/docs/stable/notes/cuda.html#environment-variables)

У меня есть набор данных из 300 образцов для точной настройки базовой модели t5, она работала нормально, но когда я попробовал t5-large, возникла эта ошибка.
Это произошло внезапно, какая-нибудь практическая помощь?
Я пытался выполнить torch.cuda.empty_cache(), чтобы очистить кеш, как было предложено, но это не помогло .

Подробнее здесь: https://stackoverflow.com/questions/790 ... izarre-way