Как запросить большой файл с помощью панд (или альтернативы)? ⇐ Python

[Anonymous]

У меня есть большой файл (6 ГБ, около 17 миллионов строк) с 5 столбцами. Я хочу использовать первый столбец в качестве ключа и получить остальные 4 столбца. Я хочу дать несколько ключей. Мой код на данный момент таков:

Код: Выделить всё

import pandas as pd

df = pd.read_csv('large_file.gz',
chunksize=1000000)

key = "find_this" # an element of column 1

for data in df:
if key in data['col1'].tolist():
found = data[data['col1'] == key]
break

print(found)

Как можно ускорить оптимизацию для нескольких элементов?

Подробнее здесь: https://stackoverflow.com/questions/790 ... lternative