Временно погрузить/сканировать паркет под потоковый движок Polars ⇐ Python

[Anonymous]

В настоящее время я работаю с данными, размер которых превышает объем оперативной памяти. Поэтому я полагаюсь на механизм потоковой передачи для выполнения всех операций. Проблема в том, что, учитывая сложность процесса, мое ядро ​​выходит из строя (тихо).
Чтобы решить эту проблему, я собираю несколько промежуточных шагов, чтобы сразу преобразовать его в LazyFrame. Я обнаружил, что для моих процессов лучшим подходом было бы "sink_parquet", а затем "scan_parquet", поскольку таким образом я избегаю записи промежуточного DataFrame на диск после сбора - и перед превращением его в ленивый кадр -.
Проблема, с которой я сталкиваюсь, заключается в том, что этот процесс "загрязняет" мою систему хранения. Поэтому мне интересно, есть ли какой-нибудь способ просканировать временный файл паркета, избегая записи каких-либо промежуточных тяжелых кадров данных.

Подробнее здесь: https://stackoverflow.com/questions/795 ... ing-engine