Ошибка синтаксического анализа Big Query при чтении быстро сжатого файла avro ⇐ Python
-
Anonymous
Ошибка синтаксического анализа Big Query при чтении быстро сжатого файла avro
Мне нужно загрузить сжатый avro-файл Hadoop Snappy в большой запрос. Увидел в документах Google, что большой запрос обнаруживает быстрое сжатие. Но когда я попробовал bq load --source-format=AVRO проект:dataset.table gs://mybucket/inputsnappy.snappy Я получил сообщение «Библиотеке Apache Avro не удалось проанализировать заголовок со следующей ошибкой: Неверный файл данных. Магия не соответствует». Любой вклад в это действительно поможет. Также в документе Google говорится, что bigquery может обнаружить только сжатие блоков данных. Может ли кто-нибудь помочь мне понять этот момент в отношении блоков данных. Я также попытался преобразовать Snappy в avro с помощью Python Snappy. Но я получаю сообщение об ошибке при выполнении «decompressed_data= snappy.decompress(input_data)» Ошибка: Распаковать: неверный входной файл. Не знаю, как действовать дальше.
Мне нужно загрузить сжатый avro-файл Hadoop Snappy в большой запрос. Увидел в документах Google, что большой запрос обнаруживает быстрое сжатие. Но когда я попробовал bq load --source-format=AVRO проект:dataset.table gs://mybucket/inputsnappy.snappy Я получил сообщение «Библиотеке Apache Avro не удалось проанализировать заголовок со следующей ошибкой: Неверный файл данных. Магия не соответствует». Любой вклад в это действительно поможет. Также в документе Google говорится, что bigquery может обнаружить только сжатие блоков данных. Может ли кто-нибудь помочь мне понять этот момент в отношении блоков данных. Я также попытался преобразовать Snappy в avro с помощью Python Snappy. Но я получаю сообщение об ошибке при выполнении «decompressed_data= snappy.decompress(input_data)» Ошибка: Распаковать: неверный входной файл. Не знаю, как действовать дальше.
