Как применять прокручивающиеся окна с окнами динамического размера и пользовательскими функциями в Pandas к большим набо ⇐ Python

[Anonymous]

Я работаю с очень большим набором данных (миллионы строк) в Pandas, где мне нужно применить операции с прокручивающимся окном. Однако сам размер окна не фиксирован и должен динамически меняться в зависимости от значений другого столбца. Кроме того, мне нужно применить специальную функцию агрегирования, которая включает несколько столбцов в каждом окне.
Вот пример того, что я пытаюсь сделать, но для простоты уменьшен:
импортировать pandas как pd

Код: Выделить всё

data = {
'Category': ['A', 'A', 'A', 'B', 'B', 'B'],
'Value': [10, 20, 30, 40, 50, 60],
'Window_Size': [1, 2, 3, 1, 2, 3]

}
df = pd.DataFrame(data)
Требования:
Для каждой строки я хочу рассчитать скользящую сумму по столбцу «Значение», где размер окна определяется соответствующим значением Window_Size в этой строке.
Кроме того, мне нужно применить специальную функцию агрегирования в каждом окне, которая учитывает столбцы «Значение» и «Категория». Например, в каждом скользящем окне я хочу вычислить взвешенную сумму значений, но только для строк, где Категория == 'A'.
Проблемы:
Размер динамического окна: Размер окна непостоянен; он изменяется в зависимости от другого столбца.
Пользовательское агрегирование: пользовательская функция должна работать с несколькими столбцами и фильтровать на основе определенных условий в окне.
Производительность: учитывая размер моего набора данных (миллионы строк). , решение необходимо оптимизировать по производительности. Я уже заметил значительное замедление при применении группировки и прокрутки небольших наборов данных.
Вопросы:
Как я могу эффективно реализовать эту динамическую, настраиваемую функцию прокручивающегося окна в Pandas?
Следует ли мне рассмотреть возможность перехода на Dask или PySpark из соображений производительности, и если да, то как бы я реализовал такую ​​логику в этих средах?
Любые рекомендации по реализации Pandas и стратегиям оптимизации производительности с крупномасштабными данными будут высоко оценены!

Подробнее здесь: https://stackoverflow.com/questions/790 ... -functions