Как эффективно обновлять (обновлять+вставлять) большие наборы данных с помощью Polars ⇐ Python

[Anonymous]

Я работаю с большими наборами данных, хранящимися в файлах Parquet, и мне нужно выполнить операцию обновления (обновления + вставки) с помощью Polars. Если файлы вырастут до пары ГБ, возникнут проблемы с памятью, и операция обновления завершится неудачно. Моя система имеет 16 ГБ ОЗУ.
Вот упрощенный пример, в котором я создаю большой набор данных и меньший набор данных для обновления:

Код: Выделить всё

import polars as pl

def generate_data(groups, nids, ncols, f=1.0):
symbols = pl.LazyFrame({'group': groups})
ids = pl.LazyFrame({'id': pl.arange(nids, dtype=pl.Int64, eager=True)})
cols_expr = [pl.lit(i*f, dtype=pl.Float64).alias(f'val_{i}') for i in range(1, ncols+1)]
return symbols.join(ids, how='cross').with_columns(cols_expr).collect()

# Generate large dataset
df_old = generate_data(groups=list('ABCDEFGHIJKLMNOPQRSTUVWXYZ'), nids=10**7, ncols=4)
print(f'df_old: {round(df_old.estimated_size()/10**9, 3)} GB')
# df_old: 10.66 GB

# Generate relatively small dataset update
df_new = generate_data(groups=['A', 'D', 'XYZ'], nids=10**4, ncols=4, f=10.)
print(f'df_new: {round(df_new.estimated_size()/10**9, 3)} GB')
# df_new: 0.001 GB

# Update fails probably due to memory issues
df = df_old.update(df_new, on=['group', 'id'], how='full').sort(['group', 'id'])
print(df)
# The kernel died, restarting...

# Polars version 1.17.1

Приведенный выше код работает с меньшими наборами данных, но когда размер данных увеличивается (например, df_old составляет 10 ГБ), происходит сбой ядра.
Каков наиболее эффективный способ выполнения обновления больших наборов данных с помощью Polars?
Существуют ли стратегии, позволяющие избежать проблем с памятью при обновлении больших наборов данных?

Подробнее здесь: https://stackoverflow.com/questions/793 ... ith-polars