Создание глобального набора данных, объединяющая несколько регионов в BigQuery с использованием Beam Apache ⇐ Python

[Anonymous]

У меня есть четыре региона A, B, C D и я хочу создать единый набор данных AA, объединяющий все 4 и хранить в C, как это можно сделать? Пытался с DBT- Python, но мне пришлось много жесткого кода, ищущий лучшего, чтобы пойти с DBT- может быть Apache или что-то, что помогает < /p>
Мы использовали модуль Python в DBT, чтобы объединить это, но должны были жесткие кодирование значений, поскольку были разрешены только литералы Python. Так что возможно, просто нужен более эффективный способ изучения луча Apache, может быть, для некоторой помощи

Подробнее здесь: https://stackoverflow.com/questions/796 ... pache-beam