Я хочу найти оценку LLM в MT-Bench (скажем, EleutherAI/pythia-1b). Мне удалось запустить команду
python gen_model_answer .py --model-pat EleutherAI/pythia-1b --model-id pythia-1b
для генерации ответов, и я мог видеть результат в json "data/mt_bench/model_answer/pythia-1b.jsonl".
Я загрузил предварительно сгенерированные ответы модели с помощью команды
python3 download_mt_bench_pregenerated .py
Как сравнить ответ, сгенерированный "pythia-1b", и любой предварительно сгенерированный ответ (скажем, llama-13b), чтобы вычислить оценку MT-Bench для " модель «Пифия-1b» ?
Подробнее здесь: https://stackoverflow.com/questions/786 ... el-answers
