DAG 1:
T1 >> T2
DAG 2:
T1 >> T2 >> T3
DAG 3:
T1 >> T2 >> T3 >> [T4, T5, T6] >> T7
< /code>
Я хотел бы сохранить зависимости от DAG 1 (который в этой модели используется любым другим DAG) и повторно используйте их при объявлении зависимостей для других DAG, например, так: < /p>
def dag_1_dependencies():
T1 >> T2
DAG 2:
dag_1_dependencies() >> T3
DAG 3:
dag_1_dependencies() >> T3 >> [T4, T5, T6] >> T7
< /code>
Проблема в том, что сами зависимости не являются значением, поэтому я не могу вернуть их методом. Вызов DAG_1_Dependencies ()
У меня есть серия даг воздушного потока, которые повторно используют некоторые зависимости задачи. Например < /p> [code]DAG 1: T1 >> T2
DAG 2: T1 >> T2 >> T3
DAG 3: T1 >> T2 >> T3 >> [T4, T5, T6] >> T7 < /code> Я хотел бы сохранить зависимости от DAG 1 (который в этой модели используется любым другим DAG) и повторно используйте их при объявлении зависимостей для других DAG, например, так: < /p> def dag_1_dependencies(): T1 >> T2
DAG 2: dag_1_dependencies() >> T3
DAG 3: dag_1_dependencies() >> T3 >> [T4, T5, T6] >> T7 < /code> Проблема в том, что сами зависимости не являются значением, поэтому я не могу вернуть их методом. Вызов DAG_1_Dependencies () [/code] ничего не делает. Есть ли способ обойти это?
Я заметил, что всякий раз, когда я импортирую airflow в Python, он автоматически создает каталог airflow в моем домашнем каталоге. Буквально только это
$ python
Python 3.11.9 | packaged by conda-forge | (main, Apr 19 2024, 18:36:13) on linux
Type...
Я заметил, что всякий раз, когда я импортирую airflow в Python, он автоматически создает каталог airflow в моем домашнем каталоге. Буквально только это
$ python
Python 3.11.9 | packaged by conda-forge | (main, Apr 19 2024, 18:36:13) on linux
Type...
Я работаю с GCP Cloud Composer (Airflow), где мне хотелось бы перечислить файлы .csv в сегменте хранилища GCS с определенным префиксом и начать импорт в экземпляр GCP Cloud SQL для каждого из них. Я хотел бы использовать динамическое сопоставление...