Есть ли способ полностью загрузить модели GGUF на графический процессор? ⇐ Python

[Anonymous]

Я использую LlamaCPP для загрузки своих моделей llm, библиотека llama-index предоставляет методы для выгрузки некоторых слоев на графический процессор. Почему он не предоставляет никаких методов для полной загрузки модели на графический процессор. Если есть какой-то метод, пожалуйста, помогите.
Метод LlamaCPP
Здесь у нас есть возможность выгрузить некоторые слои на графический процессор, но я хочу полностью загрузить модель на графическом процессоре.

Подробнее здесь: https://stackoverflow.com/questions/783 ... els-on-gpu