Мы пытаемся перейти от Pentaho Kettle к Apache AIrflow, чтобы реализовать ETL и централизовать все процессы обработки данных с помощью одного инструмента.
Мы используем Kettle для ежедневного чтения данных из баз данных Postgres/Mysql и перемещения данных в S3 -> Redshift.
Как проще всего это сделать? Я не вижу Оператора, который мог бы это сделать напрямую; Итак, следует ли мне использовать оператор MySQL/Postgres для помещения данных в локальный файл и оператор S3 для перемещения данных в S3?
Спасибо
Подробнее здесь: https://stackoverflow.com/questions/467 ... ng-airflow
