Apache Beam: выход из работает для TaggedOutput, но выходной луч.TaggedOutput в исключении игнорируется ⇐ Python

[Anonymous]

Я работаю с Apache Beam(2.62) и столкнулся с запутанным поведением DoFn.process() при использовании выходных данных из и TaggedOutput.
Когда функция do_something_ Second выдает несколько TaggedOutput, все работает нормально.
Но когда в функции do_something_first возникает исключение, и я пытаюсь получить TaggedOutput в блоке исключения, он не появляется в вывод.
Вот мой упрощенный код:
class MyTransform(PTransform):
def expand:
return input >> beam.ParDo(MyDoFn()).with_outputs(
"result-1",
"result-2",
"error",
)

class MyDoFn(DoFn):
def do_something_first(self):
# Get data from GCS Bucket
...

def do_something_second(self, element) -> Iterable[beam.TaggedOutput]:
# These works fine
yield beam.TaggedOutput("result-1", element)
yield beam.TaggedOutput("result-2", element)

def process(self, element)
try:
do_something_first()
yield from self.do_something_second(element)
except Exception:
# This log is printed
logger.error("Error while processing...")
# But this yield is ignored
yield beam.TaggedOutput("error", element)


Подробнее здесь: https://stackoverflow.com/questions/798 ... utput-in-e