Операция Pandas groupby приводит к выделению огромного количества памяти с относительно небольшим входным фреймом данных ⇐ Python

[Anonymous]

Я столкнулся с проблемой памяти при операции pandas groupby при установке наблюдаемого=False. Мой входной фрейм данных относительно невелик (79 860 строк × 790 столбцов), но операция попыталась выделить более 40 ГБ памяти.
Вот минимальный воспроизводимый пример, демонстрирующий существенную разницу между наблюдаемым=True и наблюдаемым= Ложь:

Код: Выделить всё

import pandas as pd
import numpy as np
import time

np.random.seed(42)
n_rows = 79860
n_cols = 790

# Create sample data
data = {
'chrom': ['chr1'] * n_rows,
'start': range(n_rows),
'end': range(1, n_rows + 1)
}

# Add sample columns with random values
for i in range(n_cols - 3):
data[f'sample_{i}'] = np.random.random(n_rows)

df = pd.DataFrame(data)

# Melt the dataframe
df_melted = pd.melt(df,
id_vars=["chrom","start","end"],
var_name="SampleId",
value_name="beta")

# Create beta groups
bins = [0, 0.3, 0.7, 1.0]
labels = ["UU", "MU", "MM"]
df_melted['beta_group'] = pd.cut(df_melted['beta'],
bins=bins,
labels=labels,
right=True,
include_lowest=True)

# Test with observed=True (fast, memory efficient)
start = time.time()
result = df_melted.groupby(
['chrom','start','end','beta_group'],
observed=True
).size().reset_index(name='count')
end = time.time()
print(f"Time with observed=True: {(end-start) * 1000:.2f} ms")

# Test with observed=False (very slow, memory intensive)
start = time.time()
result = df_melted.groupby(
['chrom','start','end','beta_group'],
observed=False
).size().reset_index(name='count')
end = time.time()
print(f"Time with observed=False: {(end-start) * 1000:.2f} ms")

Версия Python: 3.13
Версия Pandas: pandas>=2.2.3
С наблюдаемым = True : занимает около 10 секунд, использование памяти разумное;
При наблюдаемом=False: занимает гораздо больше времени, пытается выделить более 40 ГБ памяти.
Почему установка наблюдаемого=False приводит к такому результату резкое увеличение использования памяти?
Это ожидаемое поведение для панд?

Подробнее здесь: https://stackoverflow.com/questions/791 ... -small-inp