Добавление шага выполнения SQL после WriteToBigQuery Apache Beam Python ⇐ Python

[Anonymous]

Ищу мнение экспертов по Apache Beam.
У меня есть конвейер потоковой передачи данных Python, который использует WriteToBigQuery после чтения из исходного источника. Я хочу добиться двух вещей после того, как WriteToBigQuery

• обработает записи ошибок WriteToBigQuery
• выполнит еще один большой запрос SQL, который должен быть выполняется только после WriteToBigQuery.

Для второго требования: я знаю, что WriteToBigQuery считается приемником, но я хочу выполнить немедленную операцию, которая выполняет один большой запрос SQL.
Пожалуйста, предложите некоторые обходные пути.
Общая система: чтение из Kafka, Streamline, запись в слой BQ RAW в режиме добавления и слой BQ TGT с CDC. (Найти последнюю запись). У BQ TGT должны быть данные CDC.

Подробнее здесь: https://stackoverflow.com/questions/791 ... eam-python