Мобильная версияЯ делаю выводы на моделях Mixture-of-Experts, таких как Mixtral 8x7B, и обнаружил, что затраты на вычисления высоки.
В модели используются фиксированные эксперты K=2 на токен, но я подозреваю, что не для всех токенов требуется одинаковое количество вычислений.
Есть ли способ динамически выбирать количество экспертов в зависимости от сложности входных данных? Я слышал об использовании энтропии маршрутизации в качестве сигнала, но не могу найти подробности реализации.
Ищем:
– метод определения того, когда достаточно меньшего количества экспертов
– минимальное влияние на качество вывода (недоумение)
– что-то, что работает с существующими архитектурами MoE
Подробнее здесь: https://stackoverflow.com/questions/798 ... ert-select
