HuggingFace: Как вычислить NDCG в вычислительных метриках? ⇐ Python

[Anonymous]

Тренер Huggingface имеет параметр Compute_metrics. Однако эта функция получает на вход только прогнозы и метки:

Код: Выделить всё

def compute_metric(pred_label):
pred, label = pred_label

return my_metric(pred, label)

Этого достаточно для расчета, скажем, точности, но непригодно для более сложных показателей, таких как NDCG, поскольку NDCG также требует информации о group_id.
Этого достаточно для вычисления, скажем, точности, но непригодно для более сложных показателей, таких как NDCG, поскольку NDCG также требует информации о group_id.
p>
Типичным примером является поиск информации, когда вы сравниваете набор запросов (group_ids), каждый из которых имеет разный порядок предпочтительных результатов.
Есть ли способ доступа информация о group_ids в Compute_metrics?
Кроме того, есть ли способ получить доступ к имени набора данных eval внутри Compute_metrics?

Подробнее здесь: https://stackoverflow.com/questions/793 ... te-metrics