Ускорьте объединение файлов Excel с помощью Pandas ⇐ Python

[Anonymous]

Я пытаюсь объединить несколько файлов Excel с pandas, используя следующий код:

Код: Выделить всё

import pandas as pd
from os.path import basename

df = []
for f in ['test1.xlsx', 'test2.xlsx']:
data = pd.read_excel(f, 'Sheet1')
data.index = [basename(f)] * len(data)
df.append(data)

df = pd.concat(df)

df.to_excel("merged_data2.xlsx")

Это отлично работает с тестовыми файлами, но при попытке использовать его с тремя другими файлами Excel размером более 100 МБ каждый процесс становится слишком медленным, чтобы быть полезным. Я видел другой пост на эту тему: Почему объединение DataFrames становится экспоненциально медленнее?

И я считаю, что правильно последовал совету использовать список перед объединением, но без успех. Есть идеи? Спасибо.

Подробнее здесь: https://stackoverflow.com/questions/432 ... ith-pandas