Как определить, присутствуют ли контрольные суммы в файле Parquet? ⇐ Python

[Anonymous]

Недавно я наткнулся на ошибку при чтении таблицы паркета в Pyspark: < /p>

Код: Выделить всё

Caused by: org.apache.parquet.io.ParquetDecodingException: could not verify page integrity, CRC checksum verification failed
< /code>
Эта таблица была передана по FTP. Ошибка была разрешена, когда я удалил таблицу в пункте назначения и снова передал ее из источника. Следовательно, один, если не больше паркетных файлов, должен был быть поврежден при передаче по сети во время первой попытки. к повреждению данных в транзите. Я хочу осмотреть другие таблицы, которые были перенесены с использованием этой же общей работы. Тем не менее, я подозреваю, что базовые паркетные файлы большинства этих таблиц не содержат контрольной суммы. В противном случае вероятность того, что моя команда сталкивалась с этой ошибкой раньше. Если в файле присутствует контрольная сумма, она будет целым числом и в противном случае NA 

• Parquet/data-storage-apache-parquet/read
• https://nanoparquet.r-lib.org/reference ... pages.html
• https://lists.apache.org/thread/16oqolr ... mzc8m6ln0k

Есть ли в Python, чтобы прочитать CRC страницы парке. Если кто -то присутствует косвенно? Вопрос и ответ на Stackoverflow ниже, по -видимому, предполагает, что это нельзя сделать в Pyarrow , к сожалению.>

Подробнее здесь: https://stackoverflow.com/questions/793 ... rquet-file