Как запустить любую модель gguf с помощью трансформеров или любой другой библиотеки ⇐ Python

[Anonymous]

В ctransformers я могу использовать только определенную поддерживаемую модель. Как я могу запустить любую модель, например (Mistral, Zephyr) в формате gguf на процессоре.

Подробнее здесь: https://stackoverflow.com/questions/776 ... er-library