Когда статус задачи Airflow Neptune — «LOAD_IN_QUEUE», Airflow пытается повторить попытку. ⇐ Python

[Anonymous]

Я работаю на мультитенантной платформе конвейера данных. Итак, на данный момент у нас около 5 арендаторов. В качестве инструмента оркестрации мы используем AWS MWAA
(Apache Airflow). Каждый арендатор имеет отдельный DAG и запускается последовательно, чтобы избавиться от перегрузки в MWAA. Теперь нам нужно включить параллельное выполнение DAG в Airflow. Чтобы завершить работу конвейера данных в ограниченное время.
В каждом конвейере данных мы используем более 10 задач. При этом у нас есть модуль загрузчика AWS NeptuneDB.
Как мы уже включен очередь_request = True, я запустил параллельный метод Airflow DAG.
Но это сработало не так, как мы ожидали.
Когда первый DAG Процесс Нептуна запущен. Статус процесса Нептуна 2-го DAG будет LOAD_IN_QUEUE. При получении этого статуса Airflow DAG рассматривает это как сбой и ожидает повторной попытки. Когда процесс Нептуна 1-го DAG будет завершен. Затем при повторной попытке запускается процесс Нептуна 2-й группы обеспечения доступности баз данных.
Теперь я ожидаю, что группа обеспечения доступности баз данных будет ждать, пока процесс Нептуна 1-й группы обеспечения доступности баз данных завершится без повторной попытки. Когда СТАТУС=

Код: Выделить всё

LOAD_IN_QUEUE

Airflow трактует это как ошибку и пытается повторить попытку.
Поэтому, пожалуйста, добавьте свои данные по этому вопросу

Подробнее здесь: https://stackoverflow.com/questions/790 ... s-to-retry