В каких форматах можно хранить данные, чтобы обеспечить доступ к подмножеству без загрузки всего файла в память? ⇐ Python

[Anonymous]

Я использую физическое моделирование и храню данные для последующего анализа. До этого момента я хранил данные как маринованный кадр данных и манипулировал им с помощью Pandas в Jupyter Lab. Однако по мере того, как мои симуляции становятся все больше, раскрывает весь набор данных, заставляет ноутбук работать очень медленно. Часто мне нужно только подмножество данных - несколько столбцов. Я прибегал к сохранению некоторых наборов данных в качестве CSV, поскольку я могу импортировать определенные столбцы из этого формата. Полные наборы данных могут находиться в диапазоне 1-2 ГБ - потенциально больше в будущем, но сейчас это степень. Или база данных - путь?

Подробнее здесь: https://stackoverflow.com/questions/795 ... -loading-e