Как я могу развернуть и запустить конвейер потока данных Python (от Cloud SQL до BigQuery) с помощью Cloud Run в GCP? ⇐ Python

[Anonymous]

Я работаю над конвейером потока данных Python, который считывает данные из экземпляра Cloud SQL PostgreSQL и записывает их в BigQuery. Я заинтересован в развертывании этого конвейера в GCP и изучаю способы его запуска с помощью Cloud Run.
Я читал о создании шаблона Flex для потока данных, а затем об использовании API REST потока данных для запуска. задание, возможно, из Cloud Run. Мои вопросы:
Можно ли или рекомендуется использовать Cloud Run для запуска задания шаблона Dataflow Flex? Если да, то каковы шаги или рекомендации для этого?
Какие альтернативные варианты существуют в GCP для развертывания и продвижения этого конвейера потока данных в более высокие среды (например, среду разработки, стадию и продукт) ? Например, стоит ли мне рассмотреть возможность использования Cloud Scheduler, Cloud Functions или другого сервиса для оркестрации и управления средой?
Будем очень признательны за любые идеи, рекомендации или примеры!

Подробнее здесь: https://stackoverflow.com/questions/791 ... query-usin