- DuckDB позволяет выполнять прямые запросы к файлам паркета. например con.execute("Выберите * из 'Hierarchy.parquet')
- Parquet позволяет разделять файлы по значениям столбцов. Когда файл паркета разбит на разделы, создается ПАПКА верхнего уровня с именем файла паркета и подпапками для значений столбцов, и эти подпапки затем содержат фактические файлы данных паркета. Например,
Hierarchy.parquet (папка) --> date=20220401 (подпапка) --> part1.parquet
DuckDB для запроса разделенных И неразделенных файлов паркета.
Наблюдаемое поведение
DuckDB не работает при запросе разделенных файлов паркета и работает с неразделенными файлами паркета.
Код: Выделить всё
con.execute("Select * from 'Hierarchy.parquet'")Код: Выделить всё
RuntimeError: IO Error: No files found that match the pattern "Hierarchy.parquet"запрос базовых файлов данных отдельных лиц работает нормально:
Код: Выделить всё
con.execute("Select * from 'Hierarchy.parquet/date=20220401/part1.parquet'")Подробнее здесь: https://stackoverflow.com/questions/719 ... -in-duckdb
Мобильная версия