Airflow DAG не работает должным образом независимо, если start_date находится в будущем, прошлом или настоящем.Python

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 Airflow DAG не работает должным образом независимо, если start_date находится в будущем, прошлом или настоящем.

Сообщение Anonymous »

Сегодня 8 сентября 2023 года. Я запускаю Airflow в контейнерах. Worker, Scheduler и т. д. включены.
У меня есть следующая группа обеспечения доступности баз данных:

Код: Выделить всё

from airflow import DAG
from datetime import datetime
from airflow.providers.postgres.operators.postgres import PostgresOperator

with DAG('user_processing',
start_date=datetime(2023,10,12),
schedule_interval='@daily',
catchup=False) as dag:

create_table = PostgresOperator(
task_id='create_table',
postgres_conn_id='postgres',
sql='''
CREATE TABLE IF NOT EXISTS users (
firstname TEXT NOT NULL,
lastname TEXT NOT NULL,
country TEXT NOT NULL,
username TEXT NOT NULL,
password TEXT NOT NULL,
email TEXT NOT NULL
);
'''
)
Если я добавлю start_date в будущем и запущу запуск вручную, задача помечается как успешная, но не запускается (запуск занимает 00:00:00 секунд, и я допустил ошибку в SQL специально, чтобы проверить, не возникнет ли ошибка).
Изображение
Если я добавлю start_date в прошлом или настоящем (например: start_date=datetime(2022, 1, 1)), задача помечается как невыполненная. Журналы пусты. Я уверен, что в задании нет ошибки, так как я без проблем могу запустить его из контейнера Scheduler-1.
[img]https://i.sstatic .net/5d1nR.png[/img]

Я очень не понимаю, что может быть не так. Пожалуйста, помогите

Подробнее здесь: https://stackoverflow.com/questions/772 ... -future-pa
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение
  • Как запустить DAG при успехе другого DAG в Airflow с использованием Python?
    Anonymous » » в форуме Python
    0 Ответы
    37 Просмотры
    Последнее сообщение Anonymous
  • Как запустить DAG при успехе другого DAG в Airflow с использованием Python?
    Anonymous » » в форуме Python
    0 Ответы
    23 Просмотры
    Последнее сообщение Anonymous
  • Скопируйте проект Airflow в каталог Airflow DAG.
    Anonymous » » в форуме Python
    0 Ответы
    29 Просмотры
    Последнее сообщение Anonymous
  • Запустите DAG на основе завершения DAG вверх по течению (незапланированный)
    Anonymous » » в форуме Python
    0 Ответы
    17 Просмотры
    Последнее сообщение Anonymous
  • Запустите DAG на основе завершения DAG вверх по течению (незапланированный)
    Anonymous » » в форуме Python
    0 Ответы
    16 Просмотры
    Последнее сообщение Anonymous

Вернуться в «Python»