Квантование KV-кэша в LLM ⇐ Python

[Anonymous]

Я пытаюсь увеличить пропускную способность моей распределенной системы, чтобы количество программ, генерируемых LLM, было максимальным. Теперь, когда доступно квантование KV, я использую его (фреймворк LMDeploy), конкретно 4-битный. Однако пропускная способность не увеличивается. Я использую модель инструкций Qwen2.5-7B. В документации LMDeploy я видел таблицу, в которой сравнивается пропускная способность и квантование X-бит, и не во всех LLM увеличивается. Кто-нибудь знает, почему это может произойти? Таблица прикреплена к этому сообщению.
Я пробовал 4-битное квантование в Qwen2.5-7B Instruct

Подробнее здесь: https://stackoverflow.com/questions/791 ... on-in-llms