Загрузка версии llama3 int8 из llama.cpp ⇐ Linux

[Anonymous]

Я пытаюсь загрузить 8-битную квантованную версию llama3 на свой локальный ноутбук (Linux) из llama.cpp, но процесс прерывается из-за превышения памяти.
Есть ли способ обойти это?
Я уже работал с 4-битной версией, и она работает без проблем

Подробнее здесь: https://stackoverflow.com/questions/786 ... -llama-cpp