Ядро умирает из-за больших агрегаций наборов данных на полярах ⇐ Python

[Anonymous]

Я пытаюсь выполнить запросы, включающие агрегаты, используя поляры для больших наборов данных. Я использовал потоковую передачу = True, но ядро ​​продолжает умирать. В чем может быть проблема? Как это исправить?
def base_medium_polars_queries(log_dir, result_file):
print(",base_medium_polars_queries")
df = pl.scan_csv(log_dir) # Lazy loading of CSV
query_index = 0
for ix, iy in combinations:
for col in ['request_io_size_bytes', 'disk_time']:
query_index += 1
t1 = time.time()

# Perform first group_by aggregation on two columns
res = df.group_by([ix, iy]).agg(pl.col(col).sum())

# Perform secondary aggregation on the result of the first aggregation
res = res.group_by(ix).agg(pl.col(col).sum()).collect(streaming=True)

# Measure time and memory usage
time_elapsed = time.time() - t1
memory_usage = res.estimated_size()

# Log results
log_results_to_file(result_file, time_elapsed, memory_usage)
print(f"medium,Q{query_index},{time_elapsed},{memory_usage}")
base_medium_polars_queries("../datasets_thesios_io_traces/dataset-125m.csv", "results_rust_medium_queries_csv/results_rust_base_medium_125m.txt")


Подробнее здесь: https://stackoverflow.com/questions/791 ... -on-polars