Мобильная версияЯ хочу прочитать миллионы записей из локально размещенной базы данных в память на Python. Я использую SQLAlchemy с SQLite. Я индексирую, используя строку даты и времени и символ, и все запросы используют только эти индексы. Я рад пожертвовать скоростью записи ради скорости чтения. Мне бы хотелось, чтобы время чтения было хотя бы в некоторой степени сопоставимо с CSV.
Использование запроса и последующая выборка заняли у меня 10 минут для 10 миллионов строк с 10 столбцами. Используя pd.readsql, это заняло одну минуту. Чтение тех же данных из CSV заняло 18 секунд.
Подробнее здесь: https://stackoverflow.com/questions/793 ... lchemy-tak
