Оценка модели с помощью MT-Bench с использованием предварительно сгенерированных ответов модели. ⇐ Python

[Anonymous]

Я хочу найти оценку LLM в MT-Bench (скажем, EleutherAI/pythia-1b). Мне удалось запустить команду

python gen_model_answer .py --model-pat EleutherAI/pythia-1b --model-id pythia-1b

для генерации ответов, и я мог видеть результат в json "data/mt_bench/model_answer/pythia-1b.jsonl".
Я загрузил предварительно сгенерированные ответы модели с помощью команды

python3 download_mt_bench_pregenerated .py

Как сравнить ответ, сгенерированный "pythia-1b", и любой предварительно сгенерированный ответ (скажем, llama-13b), чтобы вычислить оценку MT-Bench для " модель «Пифия-1b» ?

Подробнее здесь: https://stackoverflow.com/questions/786 ... el-answers