Как применять прокручивающиеся окна с окнами динамического размера и пользовательскими функциями к большим наборам данны ⇐ Python

[Anonymous]

Я работаю с очень большим набором данных (миллионы строк) в Pandas, к которому мне нужно применить операции с прокручивающимся окном. Однако сам размер окна не фиксирован и должен динамически меняться в зависимости от значений другого столбца. Кроме того, мне нужно применить специальную функцию агрегирования, которая включает несколько столбцов в каждом окне.
Вот пример того, что я пытаюсь сделать, но для простоты уменьшен:

Код: Выделить всё

import pandas as pd

data = {
'Category': ['A', 'A', 'A', 'B', 'B', 'B'],
'Value': [10, 20, 30, 40, 50, 60],
'Window_Size': [1, 2, 3, 1, 2, 3]
}
df = pd.DataFrame(data)

Требования:

• Для каждой строки я хочу вычислить скользящую сумму по значению столбец, в котором размер окна определяется соответствующим значением Window_Size в этой строке.
• Кроме того, мне нужно применить пользовательскую функцию агрегирования в каждом окне, которая учитывает как значение Столбцы и Категория.

Например, в каждом скользящем окне я хочу вычислить взвешенную сумму значений, но только для строк, где Категория == 'A'.
Проблемы:

• Динамический размер окна: Размер окна не является постоянным; она изменяется на основе другого столбца.
• Пользовательское агрегирование: пользовательская функция должна работать с несколькими столбцами и фильтровать на основе определенных условий в окне.
• Производительность. Учитывая размер моего набора данных (миллионы строк), решение необходимо оптимизировать по производительности. Я уже заметил значительное замедление при применении группировки и переходе к меньшим наборам данных.

Вопросы:

• Как я могу эффективно реализовать эту динамическую, настраиваемую функцию прокручивающегося окна в Pandas?
• Следует ли мне рассмотреть возможность перехода на Dask или PySpark из соображений производительности, и если да, то как мне это сделать? реализовать такую ​​логику в этих средах?

Любые рекомендации по реализации Pandas и стратегиям оптимизации производительности с крупномасштабными данными будут высоко оценены.< /п>

Подробнее здесь: https://stackoverflow.com/questions/790 ... -functions