Правильный способ обработки сильно несбалансированных данных — двоичная классификация ⇐ Python

[Anonymous]

У меня действительно большой набор данных с 60 миллионами строк и 11 функций.
Это очень дисбалансированный набор данных, 20: 1 (сигнал: фон).
Как я видел, есть два способа заняться Эта проблема: < /p>
сначала: недостаточная состава /перегрев. > Если я сделаю недостаточную выборку перед разделением тестирования поезда, я теряю много данных.
, но что более важно, если я тренирую модель на сбалансированном наборе данных, я теряю информацию о частоте данных моего сигнала ( Допустим, частота доброкачественной опухоли по сравнению с злокачественными), и поскольку модель обучена и оценена, модель будет работать хорошо. Но если когда -нибудь в будущем я собираюсь попробовать свою модель по новым данным, это будет плохо, потому что реальные данные несбалансированы. в разделе «В разделе« В связи с тем », потому что он будет обучен сбалансированным данным, но подтвержден/протестирован на дисбалансированном. Xbg, случайный лес, логистическая регрессия?
Итак, я ищу объяснение и идею для способа работы над этой проблемой.

Подробнее здесь: https://stackoverflow.com/questions/594 ... sification