Выполнение накопительной суммы в окне с различным порядком столбцов и нулевой последней конфигурацией в Polars ⇐ Python

[Anonymous]

Версия Polars: 1.25.2
У меня есть фрейм данных:
from datetime import date

test_df = pl.DataFrame([
("A", None, date(2009, 1, 24), 1),
("A", date(2010, 3, 24), date(2013, 1, 24), 1),
("A", date(2018, 11, 26), None, 1)
], schema=["col1", "col2", "col3", "col4"])

Это результат, который мне нужен:
┌──────┬────────────┬────────────┬──────┬──────┐
│ col1 ┆ col2 ┆ col3 ┆ col4 ┆ col5 │
│ --- ┆ --- ┆ --- ┆ --- ┆ --- │
│ str ┆ date ┆ date ┆ i64 ┆ i64 │
╞══════╪════════════╪════════════╪══════╪══════╡
│ A ┆ null ┆ 2009-01-24 ┆ 1 ┆ 3 │
│ A ┆ 2010-03-24 ┆ 2013-01-24 ┆ 1 ┆ 2 │
│ A ┆ 2018-11-26 ┆ null ┆ 1 ┆ 1 │
└──────┴────────────┴────────────┴──────┴──────┘

Я пробовал следующее, но не помогло:
print(test_df.with_columns(
pl.col("col4").sum().over(
partition_by=["col1"],
order_by=[pl.col("col2").sort(descending=True, nulls_last=True), pl.col("col3").sort(descending=True, nulls_last=False)]
).alias("col5")
))

┌──────┬────────────┬────────────┬──────┬──────┐
│ col1 ┆ col2 ┆ col3 ┆ col4 ┆ col5 │
│ --- ┆ --- ┆ --- ┆ --- ┆ --- │
│ str ┆ date ┆ date ┆ i64 ┆ i64 │
╞══════╪════════════╪════════════╪══════╪══════╡
│ A ┆ null ┆ 2009-01-24 ┆ 1 ┆ 3 │
│ A ┆ 2010-03-24 ┆ 2013-01-24 ┆ 1 ┆ 3 │
│ A ┆ 2018-11-26 ┆ null ┆ 1 ┆ 3 │
└──────┴────────────┴────────────┴──────┴──────┘

Я знаю, что могу просто отсортировать его по столбцу 3 в порядке убывания с нулевым последним значением до False. Однако это всего лишь пример данных, а реальный набор данных более сложен. Мне интересно, как передать настройки разных столбцов в окне.

Изменить 1 11 декабря 2025 г.
Я понял, что это не работает не из-за использования sum() вместо cum_sum(). Я думаю, это возвращается к моему первоначальному вопросу. Это работает случайно, потому что фрейм данных уже отсортирован, когда я его создаю. Если я изменю порядок на что-то вроде:
test_df = pl.DataFrame([
("A", None, date(2009, 1, 24), 1),
("A", date(2018, 11, 26), None, 1),
("A", date(2010, 3, 24), date(2013, 1, 24), 1),
], schema=["col1", "col2", "col3", "col4"])

┌──────┬────────────┬────────────┬──────┐
│ col1 ┆ col2 ┆ col3 ┆ col4 │
│ --- ┆ --- ┆ --- ┆ --- │
│ str ┆ date ┆ date ┆ i64 │
╞══════╪════════════╪════════════╪══════╡
│ A ┆ null ┆ 2009-01-24 ┆ 1 │
│ A ┆ 2018-11-26 ┆ null ┆ 1 │
│ A ┆ 2010-03-24 ┆ 2013-01-24 ┆ 1 │
└──────┴────────────┴────────────┴──────┘

На этот раз я применяю ту же логику:
print(test_df.with_columns(
pl.col("col4").cum_sum().over(
partition_by=["col1"],
order_by=[pl.col("col2").sort(descending=True, nulls_last=True), pl.col("col3").sort(descending=True, nulls_last=False)]
).alias("col5")
))

┌──────┬────────────┬────────────┬──────┬──────┐
│ col1 ┆ col2 ┆ col3 ┆ col4 ┆ col5 │
│ --- ┆ --- ┆ --- ┆ --- ┆ --- │
│ str ┆ date ┆ date ┆ i64 ┆ i64 │
╞══════╪════════════╪════════════╪══════╪══════╡
│ A ┆ null ┆ 2009-01-24 ┆ 1 ┆ 3 │
│ A ┆ 2018-11-26 ┆ null ┆ 1 ┆ 2 │
│ A ┆ 2010-03-24 ┆ 2013-01-24 ┆ 1 ┆ 1 │
└──────┴────────────┴────────────┴──────┴──────┘

Сначала я думал, что это из-за функции окна, но когда я пытаюсь отсортировать только фрейм данных, это все равно не работает:
print(test_df.sort(
by=["col1", pl.col("col2").sort(descending=True, nulls_last=True), pl.col("col3").sort(descending=True, nulls_last=False)]
))

┌──────┬────────────┬────────────┬──────┐
│ col1 ┆ col2 ┆ col3 ┆ col4 │
│ --- ┆ --- ┆ --- ┆ --- │
│ str ┆ date ┆ date ┆ i64 │
╞══════╪════════════╪════════════╪══════╡
│ A ┆ 2010-03-24 ┆ 2013-01-24 ┆ 1 │
│ A ┆ 2018-11-26 ┆ null ┆ 1 │
│ A ┆ null ┆ 2009-01-24 ┆ 1 │
└──────┴────────────┴────────────┴──────┘

# Expected sorting result
┌──────┬────────────┬────────────┬──────┐
│ col1 ┆ col2 ┆ col3 ┆ col4 │
│ --- ┆ --- ┆ --- ┆ --- │
│ str ┆ date ┆ date ┆ i64 │
╞══════╪════════════╪════════════╪══════╡
│ A ┆ null ┆ 2009-01-24 ┆ 1 │
│ A ┆ 2010-03-24 ┆ 2013-01-24 ┆ 1 │
│ A ┆ 2018-11-26 ┆ null ┆ 1 │
└──────┴────────────┴────────────┴──────┘


Подробнее здесь: https://stackoverflow.com/questions/798 ... and-null-l