Можно ли отключить подсчет значений YData? Они мне не нужны и не нужны, и при этом создаются неоправданно большие файлы. ⇐ Python

[Anonymous]

Все в порядке, когда я запускаю его с набором данных размером 30 тыс., но когда я запускаю его с таблицей столбцов размером 10 м и 200, он занимает всю память, заполняя выходной файл полями подсчета значений (value_counts_without_nan, value_counts_index_sorted). По крайней мере, я нашел, как избавиться от сэмплов, но эти два атрибута меня убивают.
Я занимаюсь этим уже некоторое время и подумывал просто о наличии локального скопируйте Ydata и попробуйте пропатчить исходный код, вырежьте его, но это кажется неправильным . Буду очень признателен за любой толчок в правильном направлении, если кто-нибудь видел это раньше. Спасибо!
О, и я использую его в Снежинке/Снежном парке, а не локально, поэтому у меня может не быть той гибкости, которую я хотел бы... правда, просто не надо. хочу использовать аппаратное обеспечение для решения этой проблемы. Вот моя конфигурация:
config = Settings(
correlations={
"auto": {"calculate": True},
},
vars={
"num": {
"n_obs": 0,
"value_counts": False,
"n_freq_table": 0,
},
"cat": {
"length": True,
"characters": False,
"words": False,
"n_obs": 0,
"value_counts": False,
"n_freq_table": 0,
"nan_value_counts": 0
},
"unknown": { # Unknown variables
"value_counts": False, # Disable value counts for unknown variables,
"n_freq_table": 0,
}
},
title=f"Table Profile for {table_name}",
missing_diagrams={
"bar": False,
"matrix": False,
"heatmap": False
},
samples={
"head": 0,
"tail": 0,
"random": 0
},
interactions={
"continuous": False, # Disable pairwise interactions (e.g., scatterplots)
"targets": [] # No interaction targets
},
plot={
"scatter_threshold": 0 # Disable scatterplots by setting threshold to 0
},
n_extreme_obs=0, # Disable extreme observations
n_freq_table_max=0, # Disable frequency tables globally
n_obs_unique=0, # Disable unique observations
)
print(table_name, "profile_start")
profile = ProfileReport(df, config=config)


Подробнее здесь: https://stackoverflow.com/questions/792 ... creates-un