Инициализация кадра данных Polars с 15 миллионами записей приводит к зависанию машины. ⇐ Python

[Anonymous]

Я использую коннектор Psycopg3 для получения записей из базы данных AWS RDS Postgres и инициализирую фрейм данных Polars, используя приведенный ниже код:

Код: Выделить всё

rds_conn = psycopg.connect(
host=config.RDS_HOST_NAME,
dbname=config.RDS_DB_NAME,
user=config.RDS_DB_USER,
password=config.RDS_DB_PASSWORD,
port=config.RDS_PORT)
cur = rds_conn.cursor(name="rds_cursor")
cur.itersize = 100000
cur.execute(sql_query)
names = [x[0] for x in cur.description]
rows = cur.fetchall()
cur.close()
df = pl.DataFrame(rows, schema=names, infer_schema_length=None)

Это работает нормально, если количество возвращаемых строк составляет около миллиона или около того. В настоящее время одна из моих таблиц в RDS содержит 15 миллионов записей, и когда я инициализирую фрейм данных Polars, моя машина зависает, и мне нужно перезагрузить машину. Я пробовал использовать LazyFrame поверх Dataframe, но все равно.
Соединитель Psycopg возвращает 15 миллионов записей без каких-либо проблем, но проблема возникает, когда я инициализирую его как фрейм данных Polars.
Есть ли лучший способ инициализировать мой фрейм данных, чтобы у меня не возникло этой проблемы? Может кто-нибудь помочь мне в этом?
Спасибо

Подробнее здесь: https://stackoverflow.com/questions/783 ... he-machine