Как я могу эффективно обрабатывать большие наборы данных в Python, используя Pandas для анализа данных в реальном времен ⇐ Python

[Anonymous]

Я работаю над панелью анализа данных в реальном времени, которая обрабатывает большие файлы CSV (500 МБ+), и в настоящее время я использую панды для манипулирования данными. Тем не менее, производительность становится проблемой, когда набор данных растет. Я пытался оптимизировать с помощью chuntsize и dtypes, но это все еще медленно для некоторых операций, таких как Groupby и фильтрация.import pandas as pd

chunks = pd.read_csv('data.csv', chunksize=100000)

for chunk in chunks:
filtered = chunk[chunk['status'] == 'active']
result = filtered.groupby('category')['sales'].sum()
print(result)
< /code>
Я пробовал: < /p>

Снижение использования памяти путем явного настроения dtype < /li>
chunksize < /li>
Multiprocessing (добавляет сложности) < /li>

< /psure?>

Подробнее здесь: https://stackoverflow.com/questions/796 ... -real-time