Я обучаю модель на Python.
Проблема заключается в классификации дисбаланса классов при соотношении ~ 1:50.
В большинстве задач кривая точности отзыва плавно снижается от 100% точности и 0% полноты до 0% точности и 100% полноты (см.: https://towardsai.net/p/l/precision-recall-curve)
Однако моя модель ведет себя так, что резко падает. Первая точка — это, как и ожидалось, 100% при 0% отзыве. Затем точность падает до 50% при полноте ~5-10%. После этого он «ведёт себя ожидаемо», увеличивая полноту до 100%, а точность падает с 50% до 0%.
Мне сказали, что мой график выглядит неестественно из-за такого резкого падения. Однако, изучив собственные данные и результаты, я пришел к выводу, что, к сожалению, это связано с проблемой дисбаланса классов.
Например, если у меня есть только 2 истинно положительных и 2 ложных положительных результата, моя точность составляет 50%. Но если я немного подвину порог и получу 2 TP и 4 FP, моя точность упадет до 33%.
Мой вопрос: имеет ли это смысл? Является ли «неестественно выглядящая» кривая точности отзыва распространенной в проблемах дисбаланса классов?
Спасибо!
