Найдите среднюю ставку на группу в определенные годы, используя групповое преобразование. ⇐ Python

[Anonymous]

Я пытаюсь найти лучший/быстрый способ сделать это. У меня довольно большой набор данных (~ 200 миллионов строк) с отдельными датами в каждой строке. Я хочу найти средний годовой показатель на группу с 2018 по 2019 год. Я знаю, что могу создать небольшой df с результатами и объединить его обратно, но я пытался найти способ использовать преобразование. Не уверен, что слияние будет быстрее. Дополнительные баллы за остроты.
Пример данных
rng = np.random.default_rng(seed=123)
df = pd.DataFrame({'group':rng.choice(list('ABCD'), 100),
'date':[(pd.to_datetime('2018')+pd.Timedelta(days=x)).normalize() for x in rng.integers(0, 365*5, 100)],
'foo':rng.integers(1, 100, 100),
'bar':rng.integers(50, 200, 100)})
df['year'] = df['date'].dt.year

Это работает
#find average 2018 and 2019 'foo' and 'bar'
for col in ['foo', 'bar']:
for y in [2018, 2019]:
df[col+'_'+str(y)+'_total'] = df.groupby('group')['year'].transform(lambda x: df.loc[x.where(x==y).dropna().index, col].sum())

#find 2018 and 2019 rates
for y in [2018, 2019]:
df['rate_'+str(y)] = df['foo_'+str(y)+'_total'].div(df['bar_'+str(y)+'_total'])

#find average rate
df['2018_2019_avg_rate'] = df[['rate_2018', 'rate_2019']].mean(axis=1)

Вещи, которые я пробовал, но не совсем работают (я использую apply, чтобы проверить, работает ли это, прежде чем переключиться на преобразование)
#gives yearly totals for each year and each column, but further 'apply'ing to find rates then averaging isn't working after I switch to transform
df.groupby(['group', 'year'])['year'].apply(lambda x: df.loc[x.where(x.between(2018, 2019)).dropna().index, ['foo', 'bar']].sum())

#close but is averaging too early
df.groupby(['group', 'year'])['year'].apply(lambda x: df.loc[i, 'foo'].sum()/denom if (denom:=df.loc[i:=x.where(x.between(2018, 2019)).dropna().index, 'bar'].sum())>0 else np.nan)


Подробнее здесь: https://stackoverflow.com/questions/792 ... -transform