Кривая ROC *без* оценщика модели? ⇐ Python

[Anonymous]

Я создал инструмент искусственного интеллекта, который извлекает контент из изображения, а затем проверяет его на полноту и точность. Я пытаюсь оценить производительность этого инструмента и собираю для этого показатели.
У меня есть результирующая таблица, похожая на приведенную ниже; истинные значения получаются в результате ручного анализа документов, а прогнозируемые значения представляют собой фактические результаты работы инструмента.

Код: Выделить всё

ID | true | predicted |
-----------------------
1  |  0   |      1    |
2  |  0   |      0    |
3  |  1   |      1    |
4  |  1   |      0    |

Мне удалось использовать столбцы true и прогнозируемого для получения различных показателей с помощью кода ниже:

Код: Выделить всё

def calculate_metrics(df, true, predicted):
accuracy = accuracy_score(df[true], df[predicted])
precision = precision_score(df[true], df[predicted])
recall = recall_score(df[true], df[predicted])
f1 = f1_score(df[true], df[predicted])
roc_auc = roc_auc_score(df[true], df[predicted])
return print(f"accuracy: {accuracy}\nprecision: {precision}\nrecall: {recall}\nf1: {f1}\nroc_auc: {roc_auc}")

Кроме того, я хотел бы построить кривую ROC. Я могу получить оценку roc_auc и предположил, что смогу построить график оттуда, но мне трудно понять, как именно это сделать. Похоже, мне нужен оценщик модели для определения вероятностей, а затем я могу построить график, но я не понимаю, как это сделать с полученными данными.
Это так? даже возможно создать кривую ROC, используя полученные результаты, и если да, то как мне это сделать?

Подробнее здесь: https://stackoverflow.com/questions/788 ... -estimator