Pink/Scan Parquet временно под новым потоковым двигателем ⇐ Python

[Anonymous]

В настоящее время я работаю с большими, чем рамными данными. Поэтому я полагаюсь на потоковое движок для выполнения всех операций. Проблема заключается в том, что, учитывая сложность процесса, мое ядро ​​сбои (молча). Я обнаружил, что для моих процессов лучшим подходом будет то, чтобы Sink_parquet , а затем Scan_parquet , как и таким образом, я избегаю написания промежуточного рамки данных на диск после сбора -и перед тем, как повернуть ее в LazyFrame -. Поэтому я задаюсь вопросом, есть ли какое-либо способ, чтобы опустить временный паркетный файл, избегая записи какого-либо промежуточного тяжелого фрейма.

Подробнее здесь: https://stackoverflow.com/questions/795 ... ing-engine