Общее состояние Apache Beam Parallel ⇐ Apache

[Anonymous]

Рассмотрение конвейера Apache Beam с двумя параллельными преобразованиями

Код: Выделить всё

# Transformation 1
p | read_from_pubsub_subscription_1 | save_current_state | write_to_pubsub
# Transformation 2
p | read_from_pubsub_subscription_2 | enrich_output_with_last_STATE | write_to_pubsub

Преобразование 1 просто извлекает сообщения из очереди и сохраняет последнее как текущее состояние. Это состояние должно быть своего рода кешем с ключами/значениями. Последнее состояние — только одно для каждого типа (всего около 1000).
Преобразование 2 группирует сообщения по их типу и проверяет, содержит ли общее состояние этот тип, и дополняет сообщение последним состоянием."Трансформация 2" должна группировать сообщения по их типу и обогащать их во временном окне с учетом состояния (текущее состояние, записанное Трансформацией 1).
Возможно ли это рассмотреть карту ключ/значение, которая является общей для этих потоков выполнения?
Есть ли шаблон для этой части или примеров?
Как бы я это понял?
Является ли Apache Beam правильным инструментом для получения сообщений из pubsub, поделиться состоянием и отправить результат в другую очередь?

Подробнее здесь: https://stackoverflow.com/questions/786 ... ared-state