Проблема с производительностью при записи Polars.DataFrame в файл .parquet ⇐ Python

[Anonymous]

Описание:
Я обновляю свой набор данных (в формате Parquet), но столкнулся с проблемами производительности. Набор данных довольно большой (28 миллионов строк), поэтому я не могу опубликовать его здесь полностью, но (надеюсь) четко опишу проблему.
Проблема возникает при объединении два DataFrame и запишите результат обратно в Parquet. Вот упрощенный код:

Код: Выделить всё

df_old.write_parquet("df_old.parquet") # costs 5.8s
df_to_append.write_parquet("df_to_append.parquet") # costs 0.4s

result = pl.concat([df_old, df_to_append])
result.write_parquet("result.parquet") # costs 1m 37.3s !

Кроме того, чтение этого файла паркета происходит медленно.

Код: Выделить всё

pl.read_parquet("df_old.parquet") # 0.5s
pl.read_parquet("df_to_append.parquet") # 0.0s
pl.read_parquet("result.parquet") # 3.6s !

• Я попробовал это в своем офисе, медленно. А теперь дома, очень медленно. Так что я думаю, это не зависит от машины.

Что я пробовал:

• количество строк выглядит корректным, как и ожидалось.

Код: Выделить всё

df_old
# shape: (27_796_178, 13)

df_to_append
# shape: (1_144_920, 13)

result
# shape: (28_941_098, 13)

[*]Схемы для df_old и df_to_append идентичны, и они также соответствуют результату.

Код: Выделить всё

df_old.schema
Output: Schema([('datetime', Datetime(time_unit='ns', time_zone=None)),
('trading_date', Date),
('sec_code', String),
('contract_code', String),
('open', Float64),
('high', Float64),
('low', Float64),
('close', Float64),
('vwap', Float64),
('open_interest', Float64),
('volume', Float64),
('amount', Float64),
('offset', Int64)])

df_to_append.schema
Output: Schema([('datetime', Datetime(time_unit='ns', time_zone=None)),
('trading_date', Date),
('sec_code', String),
('contract_code', String),
('open', Float64),
('high', Float64),
('low', Float64),
('close', Float64),
('vwap', Float64),
('open_interest', Float64),
('volume', Float64),
('amount', Float64),
('offset', Int64)])

result.schema
Output:Schema([('datetime', Datetime(time_unit='ns', time_zone=None)),
('trading_date', Date),
('sec_code', String),
('contract_code', String),
('open', Float64),
('high', Float64),
('low', Float64),
('close', Float64),
('vwap', Float64),
('open_interest', Float64),
('volume', Float64),
('amount', Float64),
('offset', Int64)])

Несмотря на эти проверки, я по-прежнему сталкиваюсь с огромной задержкой при записи объединенного результата в Parquet. Я понятия не имею, что делать дальше. Будем очень признательны за любую помощь или идеи!
Дополнительная информация:
Python 3.13 с полярными версиями 1.12.0
Вот пример представления df_old:
df_old:polars.DataFrame

Подробнее здесь: https://stackoverflow.com/questions/791 ... rquet-file