Как записать df в несколько файлов CSV, чтобы размер каждого CSV не превышал 5 МБ ⇐ Python

[Anonymous]

Я хочу записать фрейм данных с более чем 300 000 записей в CSV-файл. Я попробовал записать фрейм данных в несколько файлов в зависимости от размера фрагмента, вот что я делаю:

Код: Выделить всё

chunk_size=25000
no_of_chunks=len(df)//chunk_size+1
for i,chunk in enumerate(np.array_split(df,no_of_chunks):
chunk.to_csv(f"filename_{i}.csv")

Есть ли способ динамически определять размер фрагмента, а также разделить мой фрейм данных так, чтобы набор строк не делился на новый CSV, например: col1 col1 .... . coln

Код: Выделить всё

apple ...............

apple................
mango................
mango.................

Я не хочу, чтобы строки яблок разделялись и попадали в новый файл CSV, может ли кто-нибудь помочь в этом?


Подробнее здесь: https://stackoverflow.com/questions/790 ... doesnt-exc