Я пытаюсь загрузить 8-битную квантованную версию llama3 на свой локальный ноутбук (Linux) из llama.cpp, но процесс прерывается из-за превышения памяти.
Есть ли способ обойти это?
Я уже работал с 4-битной версией, и она работает без проблем
Подробнее здесь: https://stackoverflow.com/questions/786 ... -llama-cpp
