Получение результатов теста HuggingFace Massive Text Embedding Benchmark (MTEB) ⇐ Python

[Anonymous]

Как использовать скрипт Python для загрузки результатов из таблицы лидеров HuggingFace Massive Text Embedding Benchmark (MTEB)? Я нашел ресурс GitHub по адресу https://github.com/embeddings-benchmark ... /main/mteb, но не могу получить результаты. Я думаю, это больше для тестирования моделей, а не для получения результатов?
`pip install mteb
import mteb

model_names = [
#"GritLM/GritLM-7B",
#"intfloat/multilingual-e5-small",
#"intfloat/multilingual-e5-base",
#"intfloat/multilingual-e5-large",
#"BAAI/bge-small-en-v1.5",
"BAAI/bge-small-en",
#"BAAI/bge-large-en-v1.5",
#"BAAI/bge-base-en-v1.5",
]
models = [mteb.get_model_meta(name) for name in model_names]
for m in models:
print(m.name, m.n_parameters, m.memory_usage, m.max_tokens, m.embed_dim, m.license, m.similarity_fn_name, m.framework, m.reference)
print(str(len(m.languages)) + " languages")
#print(m.use_instructions)
#print(m.zero_shot_benchmarks)

print("mteb.load_results(" + m.name + "):..")
results = mteb.load_results(models=m.name)
#print(type(results)) #
print("results:", results)
# model_results=[ModelResult(model_name=GritLM/GritLM-7B, model_revision=13f00a0e36500c80ce12870ea513846a066004af, task_results=[...](#5)), ModelResult(model_name=intfloat/multilingual-e5-base, model_revision=d13f1b27baf31030b7fd040960d60d909913633f, task_results=[...](#5))]
`
print()



Подробнее здесь: https://stackoverflow.com/questions/791 ... rd-results