Внешние файлы в Airflow DAG ⇐ Python

[Anonymous]

Я пытаюсь получить доступ к внешним файлам в задаче Airflow, чтобы прочитать SQL-запрос, и получаю сообщение «файл не найден». Кто-нибудь сталкивался с таким?

Код: Выделить всё

from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from datetime import datetime, timedelta

dag = DAG(
'my_dat',
start_date=datetime(2017, 1, 1),
catchup=False,
schedule_interval=timedelta(days=1)
)

def run_query():
# read the query
query = open('sql/queryfile.sql')
# run the query
execute(query)

tas = PythonOperator(
task_id='run_query', dag=dag, python_callable=run_query)

В журнале указано следующее:

Код: Выделить всё

IOError: [Errno 2] No such file or directory: 'sql/queryfile.sql'

Я понимаю, что можно просто скопировать и вставить запрос в тот же файл, но это не совсем правильное решение. Запросов несколько, а текст очень большой, встраивание его в код Python может поставить под угрозу читаемость.

Подробнее здесь: https://stackoverflow.com/questions/429 ... irflow-dag