Как определить, присутствуют ли контрольные суммы в файле Parquet? ⇐ Python

[Anonymous]

Недавно я наткнулся на ошибку при чтении таблицы паркета в Pyspark: < /p>
Caused by: org.apache.parquet.io.ParquetDecodingException: could not verify page integrity, CRC checksum verification failed
< /code>
Эта таблица была передана по FTP. Ошибка была разрешена, когда я удалил таблицу в пункте назначения и снова передал ее из источника. Следовательно, один, если не больше паркетных файлов, должен был быть поврежден при передаче по сети во время первой попытки. к повреждению данных в транзите. Я хочу осмотреть другие таблицы, которые были перенесены с использованием этой же общей работы. Тем не менее, я подозреваю, что базовые паркетные файлы большинства этих таблиц не содержат контрольной суммы. В противном случае вероятность того, что моя команда сталкивалась с этой ошибкой раньше. Если в файле присутствует контрольная сумма, она будет целым числом и в противном случае NA

• Parquet/data-storage-apache-parquet/read
• https://nanoparquet.r-lib.org/reference ... pages.html
• https://lists.apache.org/thread/16oqolr ... mzc8m6ln0k

Есть ли в Python, чтобы прочитать CRC страницы парке. Если кто -то присутствует косвенно? Вопрос и ответ на Stackoverflow ниже, по -видимому, предполагает, что это нельзя сделать в Pyarrow , к сожалению. >

Обновление 2025-01-30 < /strong> < /p>
Я не обнаружил решение в Python после дальнейшего копание. Python Packages Parquet-Tools и Parquet-Cli недостаточно детализируются. Тем не менее, Java-версия Parquet-Tools подходит. Самый простой способ, которым я смог получить работу Java,-это использовать версию Docker: https://github.com/rm3l/docker-parquet-tools
docker container run -v ./local/path/to/parquet:/container/path/to/parquet --rm -t rm3l/parquet-tools:latest dump -n /container/path/to/parquet/test.parquet


Подробнее здесь: https://stackoverflow.com/questions/793 ... rquet-file