Добавление шага выполнения SQL после WriteToBigQuery Apache Beam PythonPython

Программы на Python
Ответить
Anonymous
 Добавление шага выполнения SQL после WriteToBigQuery Apache Beam Python

Сообщение Anonymous »

Команда,
Ищу мнение экспертов по Apache Beam!
У меня есть конвейер потоковой передачи данных Python, который использует WriteToBigQuery после чтения из исходного источника. Я хочу добиться двух целей после шага WriteToBigQuery: 1. обработки записей об ошибках WriteToBigQuery и 2. выполнения еще одного большого SQL-запроса, который должен выполняться только после WriteToBigQuery.
Для второго требования: я знаю, что WriteToBigQuery считается приемником, но я хотите выполнить немедленную операцию, которая выполняет один большой запрос SQL. Если возможно, предложите обходные пути.
Спасибо

Подробнее здесь: https://stackoverflow.com/questions/791 ... eam-python
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»