Я пытаюсь прочитать большую таблицу базы данных с помощью поляров. К сожалению, данные слишком велики, чтобы поместиться в память, и приведенный ниже код в конечном итоге дает сбой.
Есть ли в полярах способ определить размер фрагмента, а также записать эти фрагменты в паркет или использовать интерфейс отложенного фрейма данных, чтобы снизить потребление памяти?
import polars as pl
df = pl.read_sql("SELECT * from TABLENAME", connection_string)
df.write_parquet("output.parquet")
Подробнее здесь: https://stackoverflow.com/questions/752 ... ith-polars
