Каков самый быстрый способ загрузить большой файл CSV в блокнот для работы с пандами Python? ⇐ Python

[Anonymous]

Я пытаюсь загрузить файл csv размером 250 МБ. В основном 4 миллиона строк и 6 столбцов данных временных рядов (1 минута). Обычная процедура:

Код: Выделить всё

location = r'C:\Users\Name\Folder_1\Folder_2\file.csv'
df = pd.read_csv(location)

Эта процедура занимает около 20 минут!!!. Предварительно я изучил следующие варианты:

• Загружать частями, а затем собирать их вместе.
• HDF5
• 'перо'
• 'маринованный'

Интересно, сравнивал ли кто-нибудь эти варианты (или несколько) и выявил явного победителя. Если никто не ответит, в будущем я опубликую свои результаты. У меня просто сейчас нет времени.

Подробнее здесь: https://stackoverflow.com/questions/370 ... ith-python