Python-Polars: производительность широкого фрейма данных ⇐ Python

[Anonymous]

В настоящее время мы внедряем систему вычислений, используя Polars в качестве серверной части. Учитывая характеристики нашей модели данных, мы решили полагаться на широкий фрейм данных, где переменные содержат измерение времени. Это означает:

Код: Выделить всё

shape: (2, 2)
┌──────┬───────────────┐
│ name ┆ var1_20231229 │
│ ---  ┆ ---           │
│ str  ┆ f64           │
╞══════╪═══════════════╡
│ VW   ┆ 0.5           │
│ BMW  ┆ 4.0           │
└──────┴───────────────┘

Эта модель прекрасно работает с годовыми, квартальными и даже ежемесячными данными. Однако когда мы вводим ежедневную частоту, добавляя таким образом столбцы и делая данные еще шире, производительность падает. Это справедливо для Pl.LazyFrame и установки Streaming = True. Это ожидаемо, учитывая форму кадра данных.
Важно подчеркнуть, как мы планируем наши запросы: чтобы воспользоваться преимуществами распараллеливания, мы группируем все выражения, которые могут выполняться вместе в тот же контекст with_columns. Таким образом, наши запросы будут выглядеть так:

Код: Выделить всё

(df
.with_columns()
.with_columns()
)

Где второй список выражений не может использовать столбцы исходного фрейма данных.
Есть ли способ повысить производительность этого процесса? Например, извлекая из каждого списка выражений только те столбцы, которые необходимы для вычисления этого списка выражений.

Подробнее здесь: https://stackoverflow.com/questions/792 ... -dataframe