Как заставить Isolation Forest обнаруживать аномалию на пике разницы, а не на первом увиденном значенииPython

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 Как заставить Isolation Forest обнаруживать аномалию на пике разницы, а не на первом увиденном значении

Сообщение Anonymous »

Я использую Isolation Forest для выявления аномалий в очень большом фрейме данных. Данные зашумлены, поэтому я провел множество операций фильтрации, чтобы сгладить шум и выделить истинные аномалии, присутствующие в данных. Затем я использовал .diff() для этого набора данных, чтобы создать прямую линию, которая резко возрастает при возникновении аномалии. Затем для выявления этих аномалий используется Isolation Forest.
Моя проблема в том, что Isolation Forest идентифицирует аномалию на самом раннем этапе, когда он может обнаружить аномалию, но мне нужно, чтобы она ее обнаружила. на пике разницы.

Код: Выделить всё

df["Ref Wt. Denoised"] = denoise(df["Ref Wt."].values, level=2)
df["Ref Wt. Savgol"] = apply_savgol_filter(df["Ref Wt. Denoised"], window_length=101, polyorder=3)
df["Ref Wt. Smoothed"] = df["Ref Wt. Savgol"].rolling(window=indexer).mean()
df["Ref Wt. Diff"] = df["Ref Wt. Smoothed"].diff(periods=300).fillna(0)

df["WOB Anomaly"] = detect_wob.predict(df["Ref Wt. Diff"].values.reshape(-1, 1))

df["WOB Zero Event"] = df["WOB Anomaly"] == -1
Я попробовал использовать .shift(), чтобы исправить это, но это ручное изменение работает для некоторых значений, но не для всех. Я действительно хочу избежать изменения размера окна, которое я использую для сглаживания данных, поскольку это серьезно влияет на точность.
Изображение проблемы и исправления, которое я ищу

Подробнее здесь: https://stackoverflow.com/questions/788 ... ence-inste
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение
  • Я получаю аномалию DU (PMD) в своем коде. Я не уверен, как это исправить
    Anonymous » » в форуме JAVA
    0 Ответы
    84 Просмотры
    Последнее сообщение Anonymous
  • Как установить пакеты pip через --no-build-isolation, если они упомянуты в файле require.txt?
    Anonymous » » в форуме Python
    0 Ответы
    22 Просмотры
    Последнее сообщение Anonymous
  • Pip install flash-attn --no-build-isolation ошибка выдачи
    Anonymous » » в форуме Python
    0 Ответы
    72 Просмотры
    Последнее сообщение Anonymous
  • Numpy.load (), кажется, использует двойную память массива на пике
    Anonymous » » в форуме Python
    0 Ответы
    4 Просмотры
    Последнее сообщение Anonymous
  • Numpy.load (), кажется, использует двойную память массива на пике
    Anonymous » » в форуме Python
    0 Ответы
    10 Просмотры
    Последнее сообщение Anonymous

Вернуться в «Python»