Как запустить задачу, если предыдущая не удалась в Apache Airflow ⇐ Python

[Anonymous]

Мне нужно сделать следующее:

Проверить, включен ли сервер. Если да, я проверяю, работает ли кластер Spark на этом сервере, если он не работает, я попытайтесь запустить его, если он уже запущен, я перехожу к запуску задания Spark.

Я подумал о создании задачи, чтобы проверить, работает ли кластер Spark (возможно, пытаюсь запустить простое задание Spark). В случае сбоя я бы запустил задачу «Запустить кластер Spark».

Я использую Airflow, но не нашел способа запустить задачу в случае предыдущего один терпит неудачу. Кроме того, мне нужно будет проверить предыдущую задачу на случай успеха, чтобы она перешла к задаче задания Spark и пропустила задачу «Запустить кластер Spark».

Если Вы могли бы предоставить несколько образцов, это было бы здорово. Я пробовал использовать триггер_rule и оператор ветвления, но пока ничего не получилось. Возможно, потому, что в сети слишком мало примеров кода.

Спасибо

Подробнее здесь: https://stackoverflow.com/questions/420 ... he-airflow