TensorFlow Extended (TFX): выходные данные конвейера пусты, хотя конвейер работает правильно. ⇐ Python

[Anonymous]

Следующий код имитирует простой конвейер, принимающий файл CSV и преобразующий его в TFRecord.
Вы также можете увидеть соответствующий блокнот: https://colab.research.google.com /drive/1GEytZjnNZZ7r_f9QQ9FbauohKNLGSooC?usp=sharing

Код: Выделить всё

output_config = example_gen_pb2.Output(split_config=
example_gen_pb2.SplitConfig(splits=[
example_gen_pb2.SplitConfig.Split(name='train', hash_buckets=8),
example_gen_pb2.SplitConfig.Split(name='eval', hash_buckets=2)
])
)

example_gen = CsvExampleGen(
input_base='data',
output_config=output_config
)

pipeline_root = 'artifacts'

pipeline = Pipeline(
pipeline_name='testing pipeline',
pipeline_root=pipeline_root,
components=[example_gen],
enable_cache=True,
metadata_connection_config=metadata.sqlite_metadata_connection_config(
os.path.join('artifacts', 'metadata.sqlite')
)
)

LocalDagRunner().run(pipeline)

Я вручную проверил, что TFRecord сгенерирован правильно. Однако выходные словари конвейера пусты.

Код: Выделить всё

print(pipeline.outputs)
# output: {}
print(example_gen.outputs['examples'].get())
# output: []

Эта проблема сохраняется как в блокноте .ipynb, так и в файле .py.
Интересно, что InteractiveContext не имеет этой проблемы.
Кто-нибудь знает, что является причиной этого?

Подробнее здесь: https://stackoverflow.com/questions/786 ... ipeline-is