Как загрузить данные из PostgreSQL частями с помощью psycopg2 ⇐ Python

[Anonymous]

Я хочу итеративно загружать пакеты из таблицы и сохранять каждый пакет в формате .parquet.
Проблема в том, что я не понимаю, как это сделать с помощью psycopg2.

Код: Выделить всё

conn = psycopg2.connect(dbname=dbname, user=user, password=password, host=host, port=port)
cursor = conn.cursor()
cursor.execute(query)
columns = [column[0] for column in cursor.description]
records = cursor.fetchmany(size=5)
pd.DataFrame(data=records, columns=columns).to_parquet(...)

Приведенный выше код выбирает более 5 строк.
Я хочу сделать что-то вроде:

Код: Выделить всё

    conn = psycopg2.connect(dbname=dbname, user=user, password=password, host=host, port=port)
cursor = conn.cursor()
cursor.execute(query)
columns = [column[0] for column in cursor.description]
records = cursor.fetchmany(size=5) #iterator with batches
for batch in records:
pd.DataFrame(data=records, columns=columns).to_parquet(...)

Заранее большое спасибо за любую помощь

Подробнее здесь: https://stackoverflow.com/questions/770 ... h-psycopg2