Ошибка синтаксического анализа Big Query при чтении быстро сжатого файла avroPython

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 Ошибка синтаксического анализа Big Query при чтении быстро сжатого файла avro

Сообщение Anonymous »


Мне нужно загрузить сжатый avro-файл Hadoop Snappy в большой запрос. Увидел в документах Google, что большой запрос обнаруживает быстрое сжатие. Но когда я попробовал bq load --source-format=AVRO проект:dataset.table gs://mybucket/inputsnappy.snappy Я получил сообщение «Библиотеке Apache Avro не удалось проанализировать заголовок со следующей ошибкой: Неверный файл данных. Магия не соответствует». Любой вклад в это действительно поможет. Также в документе Google говорится, что bigquery может обнаружить только сжатие блоков данных. Может ли кто-нибудь помочь мне понять этот момент в отношении блоков данных. Я также попытался преобразовать Snappy в avro с помощью Python Snappy. Но я получаю сообщение об ошибке при выполнении «decompressed_data= snappy.decompress(input_data)» Ошибка: Распаковать: неверный входной файл. Не знаю, как действовать дальше.
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в «Python»