I вручную создал структуры каталогов и писал паркетные файлы, а не использовал параметр phyn_by в библиотеке python polars, потому что
[*] Я хочу полный контроль над файлом parquet naming
Я хочу обрабатывать файл в приплекте. Подзадачи (в моем случае я объединяю данные и дедупликации) partition_by параметр?
Спасибо
Подробнее здесь: https://stackoverflow.com/questions/796 ... n-the-dire
Поляры для Python, могу ли я прочитать паркетные файлы с помощью hive_partitioning, когда структура и файлы каталогов бы ⇐ Python
-
- Похожие темы
- Ответы
- Просмотры
- Последнее сообщение
-
-
Как написать большие паркетные файлы (20 ГБ+) в SQLite на партиях, используя поляры?
Anonymous » » в форуме Python - 0 Ответы
- 5 Просмотры
-
Последнее сообщение Anonymous
-
-
-
Преобразование строки в массив [Int] в столбце Hive с помощью Spark или Hive
Anonymous » » в форуме Python - 0 Ответы
- 63 Просмотры
-
Последнее сообщение Anonymous
-
-
-
Как установить неактивное соединение Hive jdbc из Java-кода с помощью hive jdbc
Anonymous » » в форуме JAVA - 0 Ответы
- 26 Просмотры
-
Последнее сообщение Anonymous
-
-
-
Как установить Idle Hive JDBC Connection Out из кода Java с помощью Hive JDBC
Anonymous » » в форуме JAVA - 0 Ответы
- 6 Просмотры
-
Последнее сообщение Anonymous
-