Набор результатов Airflow HiveOperator ⇐ Python
-
Anonymous
Набор результатов Airflow HiveOperator
Я новичок в Airflow и Python и пытаюсь настроить запланированный отчет. В отчете необходимо получить данные из Hive и отправить результаты по электронной почте.
Мой код на данный момент:
из datetime импорта datetime, timedelta из импорта воздушного потока DAG из airflow.operators.hive_operator импортировать HiveOperator default_args = { «владелец»: «я», 'dependents_on_past': Ложь, «start_date»: дата-время (2015, 1, 1), 'электронная почта': ['email@example.com'], 'email_on_failure': Верно, 'email_on_retry': Верно, «повторные попытки»: 3, 'retry_delay': timedelta (часы = 2) } даг = ДАГ( dag_id = 'hive_report', max_active_runs=1, default_args=default_args, Schedule_interval='@once') запрос = """ #запрос идет сюда """ run_hive_query = HiveOperator( Task_id="fetch_data", hql=запрос, даг = даг ) Я почти уверен, что мне нужно добавить задачу EmailOperator для отправки результатов, поскольку она, похоже, настроена на отправку электронной почты только в случае сбоя или повторной попытки.
У меня вопрос: что делает оператор Hive с набором результатов? Как лучше всего передать набор результатов от одной задачи к другой?
Я новичок в Airflow и Python и пытаюсь настроить запланированный отчет. В отчете необходимо получить данные из Hive и отправить результаты по электронной почте.
Мой код на данный момент:
из datetime импорта datetime, timedelta из импорта воздушного потока DAG из airflow.operators.hive_operator импортировать HiveOperator default_args = { «владелец»: «я», 'dependents_on_past': Ложь, «start_date»: дата-время (2015, 1, 1), 'электронная почта': ['email@example.com'], 'email_on_failure': Верно, 'email_on_retry': Верно, «повторные попытки»: 3, 'retry_delay': timedelta (часы = 2) } даг = ДАГ( dag_id = 'hive_report', max_active_runs=1, default_args=default_args, Schedule_interval='@once') запрос = """ #запрос идет сюда """ run_hive_query = HiveOperator( Task_id="fetch_data", hql=запрос, даг = даг ) Я почти уверен, что мне нужно добавить задачу EmailOperator для отправки результатов, поскольку она, похоже, настроена на отправку электронной почты только в случае сбоя или повторной попытки.
У меня вопрос: что делает оператор Hive с набором результатов? Как лучше всего передать набор результатов от одной задачи к другой?
