Как разделить большой кадр данных Polars и сохранить каждый из них параллельно в файл CSV? ⇐ Python

[Anonymous]

У меня есть большой фрейм данных Polars с множеством групп. Теперь я хочу разделить кадр данных по группам и сохранить все подкадры данных. Я могу легко сделать это следующим образом:

Код: Выделить всё

for d in df.partition_by(["group1", "group2"]):
d.write_csv(f"~/{d[0, 'group1']}_{d[0, 'group2']}.csv")

Однако описанный выше подход является последовательным и медленным, когда df очень большой и имеет множество разделов.
Есть ли какой-либо собственный способ распараллеливания Polars (раздел кода выше)?
Если нет, то как я могу сделать это собственным способом Python?>

Подробнее здесь: https://stackoverflow.com/questions/784 ... to-a-csv-f