Я использую LlamaCPP для загрузки своих моделей llm, библиотека llama-index предоставляет методы для выгрузки некоторых слоев на графический процессор. Почему он не предоставляет никаких методов для полной загрузки модели на графический процессор. Если есть какой-то метод, пожалуйста, помогите.
Метод LlamaCPP
Здесь у нас есть возможность выгрузить некоторые слои на графический процессор, но я хочу полностью загрузить модель на графическом процессоре.
Подробнее здесь: https://stackoverflow.com/questions/783 ... els-on-gpu
