Переместите данные из Postgres/MySQL в S3 с помощью Airflow ⇐ Python

[Anonymous]

Мы пытаемся перейти от Pentaho Kettle к Apache AIrflow, чтобы реализовать ETL и централизовать все процессы обработки данных с помощью одного инструмента.

Мы используем Kettle для ежедневного чтения данных из баз данных Postgres/Mysql и перемещения данных в S3 -> Redshift.

Как проще всего это сделать? Я не вижу Оператора, который мог бы это сделать напрямую; Итак, следует ли мне использовать оператор MySQL/Postgres для помещения данных в локальный файл и оператор S3 для перемещения данных в S3?

Спасибо

Подробнее здесь: https://stackoverflow.com/questions/467 ... ng-airflow