Torch.cuda.OutOfMemoryError: CUDA не хватает памяти ⇐ Python

[Anonymous]

Я пытаюсь провести обучение на LLM для генерации текста. Даже после различных изменений в моем коде я все еще получаю эту ошибку.
torch.cuda.OutOfMemoryError: CUDA не хватает памяти. Попробовал выделить 16.00 МиБ. Общая емкость графического процессора 0 составляет 6,00 ГиБ, из которых 4,54 ГиБ свободно. Из выделенной памяти 480,02 МБ выделяется PyTorch, а 1,98 МБ зарезервировано PyTorch, но нераспределено. Если зарезервированная, но нераспределенная память велика, попробуйте установить max_split_size_mb, чтобы избежать фрагментации. См. документацию по управлению памятью и PYTORCH_CUDA_ALLOC_CONF.
Это не имеет смысла, поскольку, как говорится, на моем графическом процессоре осталось более чем достаточно места. Я впервые развертываю модели, поэтому буду рад любой помощи!

Подробнее здесь: https://stackoverflow.com/questions/777 ... -of-memory