Режим катания в Polars ⇐ Python

[Anonymous]

У меня есть кадр данных длиной около 100 миллионов строк, содержащий идентификаторы в разных группах. Некоторые из них ошибочны (обозначены цифрой 99). Я пытаюсь исправить их с помощью окна режима прокрутки, как показано в примере кода ниже. Есть ли лучший способ сделать это, поскольку Rolling_map() работает очень медленно?
import polars as pl
from scipy import stats

def dummy(input):
return stats.mode(input)[0]

df = pl.DataFrame({'group': [10, 10, 10, 10, 10, 10, 10, 20, 20, 20, 20],
'id': [1, 1, 99, 1, 1, 2, 2, 3, 3, 99, 3]})

df.with_columns(pl.col('id')
.rolling_map(function=dummy,
window_size=3,
min_periods=1,
center=True)
.over('group')
.alias('id_mode'))

shape: (11, 3)
╭───────┬─────┬─────────╮
│ group ┆ id ┆ id_mode │
│ i64 ┆ i64 ┆ i64 │
╞═══════╪═════╪═════════╡
│ 10 ┆ 1 ┆ 1 │
│ 10 ┆ 1 ┆ 1 │
│ 10 ┆ 99 ┆ 1 │
│ 10 ┆ 1 ┆ 1 │
│ 10 ┆ 1 ┆ 1 │
│ 10 ┆ 2 ┆ 2 │
│ 10 ┆ 2 ┆ 2 │
│ 20 ┆ 3 ┆ 3 │
│ 20 ┆ 3 ┆ 3 │
│ 20 ┆ 99 ┆ 3 │
│ 20 ┆ 3 ┆ 3 │
╰───────┴─────┴─────────╯


Подробнее здесь: https://stackoverflow.com/questions/789 ... -in-polars