В фильтре полярностей Python и агрегировании списков ⇐ Python

[Anonymous]

У меня есть фрейм данных со строковым представлением json:

Код: Выделить всё

df = pl.DataFrame({
"json": [
'{"x":[0,1,2,3], "y":[10,20,30,40]}',
'{"x":[0,1,2,3], "y":[10,20,30,40]}',
'{"x":[0,1,2,3], "y":[10,20,30,40]}'
]
})

Код: Выделить всё

shape: (3, 1)
┌───────────────────────────────────┐
│ json                              │
│ ---                               │
│ str                               │
╞═══════════════════════════════════╡
│ {"x":[0,1,2,3], "y":[10,20,30,40… │
│ {"x":[0,1,2,3], "y":[10,20,30,40… │
│ {"x":[0,1,2,3], "y":[10,20,30,40… │
└───────────────────────────────────┘

Теперь я хотел бы вычислить среднее для y, где x > 0 и x dict, а затем создайте фрейм данных, который фильтруется по x.

Код: Выделить всё

# import ast
df = df.with_columns(
pl.col('json').map_elements(lambda x: pl.DataFrame(ast.literal_eval(x)).filter((pl.col('x') < 3) & (pl.col('x') > 0))['y'].mean())
)

Код: Выделить всё

shape: (3, 1)
┌──────┐
│ json │
│ ---  │
│ f64  │
╞══════╡
│ 25.0 │
│ 25.0 │
│ 25.0 │
└──────┘

Это работает нормально, но для больших наборов данных функции Apply значительно замедляют процесс.
Есть ли более элегантный и быстрый способ сделать это?

Подробнее здесь: https://stackoverflow.com/questions/762 ... t-of-lists