есть ли способ настроить Spark для записи определенной версии формата паркета при записи фрейма данных в виде дельта-таблицы?
Я не смог найти ничего, что могло бы помочь мне настроить формат файла версия в искровом режиме.
В настоящее время искровая запись паркета версии 1.0 при создании дельта-таблицы.
В фоновом режиме delta записывает файлы версии паркета 1.0, которые не поддерживаются. Метки времени с точностью до наносекунд. Короче говоря, в настоящее время я сталкиваюсь с потерей данных при создании дельта-таблицы из моих исходных файлов.
Новая версия формата паркета - >2.0 поддерживает это.
ссылка на githubhttps://issues.apache.org/jira/browse/PARQUET-1387
Поэтому я хочу иметь дельта-таблицу с файлами паркета версии 2.0.
Подробнее здесь: https://stackoverflow.com/questions/785 ... delta-tabl
