Python и Pandas для записи большого объема данных ⇐ Python

[Anonymous]

Сценарий генерирует 50 000 кадров данных приведенной ниже структуры и сохраняет их один на один на локальном диске. Чтобы повысить эффективность, я изменил формат записи с Excel на Parquet. Однако, похоже, он не работает быстрее.
Затем необходимо обрезать 50 000 кадров данных для фильтрации строк, когда столбец Meet имеет значение 4 или 5, чтобы сохранить их в окончательном текстовом файле.< /p>
Какое решение выше приведено лучше? (чтобы окончательный файл содержал только строки с 4 или 5 в Meet)
Я думаю, что, возможно, при создании кадра данных 50 000 он вместо этого фильтрует строки (4 или 5 в Meet). сохранения всех строк в каждом меньшем кадре данных. И вместо записи 50 000 кадров данных он напрямую записывает в окончательный текстовый файл. То есть пропустите этап записи каждого небольшого кадра данных в виде небольшого файла на локальный диск.
Количество строк может достигать миллионов. Я не уверен, что обычный ноутбук справится с этим (Win11, 16 ГБ ОЗУ, без подключения к Интернету).
Dict DT Length Meet
0 {'key_0': 45, 'key_1': 67} 2023-10-15 14:32:10 15 5
1 {'key_0': 12, 'key_1': 34} 2023-10-12 09:15:45 19 3
2 {'key_0': 56, 'key_1': 89} 2023-10-20 11:45:30 13 7
3 {'key_0': 23, 'key_1': 45} 2023-10-05 08:20:00 17 4
4 {'key_0': 78, 'key_1': 12} 2023-10-10 16:05:55 10 6

Из-за длины кода (1315 строк) и требований конфиденциальности извините, что я не могу вставить код сюда. Я пытаюсь напрямую записать 1 последний кадр данных, просто однажды случайно пропало питание, и его нужно перезапустить.
big_df = []
......
- - - lines to generate df_small - - -
df_small = df_small[df_small['Meet'].isin([4,5])]
big_df.append(df_1)

writing_df = pd.concat(big_df, ignore_index=True)
writing_df.to_excel('final.xlsx', index=False)


Подробнее здесь: https://stackoverflow.com/questions/792 ... -dataframe