Использование Axolotl ai, ошибка OOM при точной настройке ⇐ Python

[Anonymous]

Я попробовал загрузить эту модель (THUDM/LongWriter-llama3.1-8b), и получил ошибку OOM.
вот блокнот, который я использовал, кстати, он работает и для моделей меньшего размера: -
https://www.kaggle.com/code/akshat08/axolotl
Я уже пробовал много вещей, например: -
градиент контрольная точка
уменьшение размера пакета
квантование
Но, похоже, ничего не работает

Подробнее здесь: https://stackoverflow.com/questions/792 ... ine-tuning