Как написать большие паркетные файлы (20 ГБ+) в SQLite на партиях, используя поляры? ⇐ Python

[Anonymous]

У меня есть следующий код Polars, который считывает паркетный файл и записывает его в базу данных SQLite: < /p>
data = pl.scan_parquet(get_dataset_path()).collect()
_ = data.write_database(
table_name="my_table",
connection="sqlite:///my_data.db",
if_table_exists="replace",
)
< /code>
Это прекрасно работает для более мелких наборов данных, но при работе с действительно большими паркетными файлами (20 ГБ+), он запускается из памяти. < /p>
Я не хочу переходить на Postgresql Обработка их партиями или использованием потоковой передачи?
Заранее!

Подробнее здесь: https://stackoverflow.com/questions/795 ... ing-polars