Перевести Pandas groupby и выполнить повторную выборку в Polars в Python ⇐ Python

[Anonymous]

У меня есть код, который генерирует игрушечный DataFrame (производственный df очень сложен):

Код: Выделить всё

import polars as pl
import numpy as np
import pandas as pd

def create_timeseries_df(num_rows):
date_rng = pd.date_range(start='1/1/2020', end='1/01/2021', freq='T')
data = {
'date': np.random.choice(date_rng, num_rows),
'category': np.random.choice(['A', 'B', 'C', 'D'], num_rows),
'subcategory': np.random.choice(['X', 'Y', 'Z'], num_rows),
'value': np.random.rand(num_rows) * 100
}
df = pd.DataFrame(data)
df = df.sort_values('date')
df.set_index('date', inplace=True, drop=False)
df.index = pd.to_datetime(df.index)

return df

num_rows = 1000000  # for example
df = create_timeseries_df(num_rows)

Затем выполните эти преобразования с помощью Pandas.

Код: Выделить всё

df_pd = df.copy()
df_pd = df_pd.groupby(['category', 'subcategory'])
df_pd = df_pd.resample('W-MON')
df_pd.agg({
'value': ['sum', 'mean', 'max', 'min']
}).reset_index()

Но, очевидно, что с Pandas он работает довольно медленно (по крайней мере, в производстве). Поэтому я хотел бы использовать Polars, чтобы ускорить время. Вот что у меня есть на данный момент:

Код: Выделить всё

#Convert to Polars DataFrame
df_pl = pl.from_pandas(df)

#Groupby, resample and aggregate
df_pl = df_pl.group_by('category', 'subcategory')
df_pl = df_pl.group_by_dynamic('date', every='1w', closed='right')
df_pl.agg(
pl.col('value').sum().alias('value_sum'),
pl.col('value').mean().alias('value_mean'),
pl.col('value').max().alias('value_max'),
pl.col('value').min().alias('value_min')
)

Но я получаю сообщение об ошибке AttributeError: у объекта GroupBy нет атрибута group_by_dynamic. Есть идеи, как использовать groupby с последующей повторной выборкой в Polars?

Подробнее здесь: https://stackoverflow.com/questions/787 ... -in-python