Поток данных GCP и боковой ввод Apache Beam из внешнего API ⇐ JAVA

[Anonymous]

Мне нужно подключиться к подписке GCP Pub/Sub через GCP Dataflow (потоковое задание), и всякий раз, когда по этой подписке поступает новое сообщение, получать самую актуальную информацию из внешнего API или хранилища. На основе этой информации отфильтруйте записи и, если они пройдут фильтр, создайте новое окно сеанса.
Параметры для каждого окна сеанса будут полностью индивидуальными и извлекаются через боковой ввод как описано выше.
Например, это может включать данные о времени начала и окончания жизненного цикла окна, а также логику для оценки данных внутри окна. Если эта логика возвращает TRUE, новое сообщение должно быть отправлено в другую тему GCP Pub/Sub.
Вопрос:
Можно ли получить доступ к внешний API или какое-либо хранилище в памяти с использованием Beam Side Input каждый раз при получении нового сообщения?
Если да, могу ли я создавать отдельные окна сеанса каждый раз при получении нового сообщения на основе данные, полученные через вход Beam Side от внешнего API/хранилище?
Будет ли окно сеанса потока данных GCP автоматически закрываться по достижении времени его окончания?

Подробнее здесь: https://stackoverflow.com/questions/792 ... ternal-api