Лучше оптимизировать реализацию ниже ⇐ Python

[Anonymous]

У меня есть приведенный ниже код, и я хочу оптимизировать приведенный ниже код с точки зрения потребляемой памяти и времени. Я не рассматриваю такие решения, как использование ProcessPoolExecutor, Chunk data. Мои данные разрежены, поэтому я использую SparseArray. Мои проблемы описаны ниже.

• Память, потребляемая при преобразовании в разреженный массив.
• Мне нужно преобразовать в плотный, а затем записать в файл паркета, который потребляет более чем вдвое больше памяти.
• При записи в паркет также потребляется дополнительная память. Как ее можно уменьшить.

Код: Выделить всё

for i in range(0,n):
df=pd.read_parquet(file_name[0], engine='pyarrow',filters=[('BUCKET_NUM', '>=', bucket_start), ('BUCKET_NUM', '

Подробнее здесь: [url]https://stackoverflow.com/questions/79060887/optimize-below-implementation-in-better-way[/url]