Python3. Есть ли способ перебирать строку за строкой по очень большой таблице SQlite, не загружая всю таблицу в локальну ⇐ Python

[Anonymous]

У меня очень большая таблица с более чем 250 000 строк, многие из которых содержат большой текстовый блок в одном из столбцов. Сейчас он составляет 2,7 ГБ, и ожидается, что он увеличится как минимум в десять раз. Мне нужно выполнить определенные операции Python для каждой строки таблицы, но мне нужно получить доступ только к одной строке за раз.

Сейчас мой код выглядит примерно так:

Код: Выделить всё

c.execute('SELECT * FROM big_table')
table = c.fetchall()
for row in table:
do_stuff_with_row

Это работало нормально, когда таблица была меньше, но теперь таблица больше, чем моя доступная оперативная память, и Python зависает, когда я пытаюсь ее запустить. Есть ли лучший (более эффективный) способ перебирать строку за строкой по всей таблице?

Подробнее здесь: https://stackoverflow.com/questions/295 ... e-table-wi