Как писать большие файлы Parquet (более 20 ГБ) в SQLite в пакетном режиме с помощью Polars? ⇐ Python

[Anonymous]

У меня есть следующий код Polars, который считывает файл Parquet и записывает его в базу данных SQLite:

Код: Выделить всё

data = pl.scan_parquet(get_dataset_path()).collect()
_ = data.write_database(
table_name="my_table",
connection="sqlite:///my_data.db",
if_table_exists="replace",
)

Это отлично работает для небольших наборов данных, но при работе с очень большими файлами Parquet (более 20 ГБ) ему не хватает памяти.
Я не хочу переключаться на PostgreSQL (как предлагалось в других темах), и я не смог полностью понять решения, которые я нашел.
Как я могу изменить этот код для эффективной обработки больших файлов Parquet путем их пакетной обработки или использования потоковой передачи?
/>Заранее спасибо!

Подробнее здесь: https://stackoverflow.com/questions/795 ... ing-polars