Каковы компромиссы между ETL и планировщиком заданий на основе Java? ⇐ JAVA

[Anonymous]

У нас есть приложение, в котором данные считываются и преобразуются во что-то другое на основе своей бизнес-логики. В настоящее время API и преобразование данных находятся в одном приложении. Нам нужно извлечь эту обработку данных в какое-то новое место. Дело в том, что следует учитывать при выборе между решением ETL и новым приложением Java.
Вот некоторый контекст:

• Ежедневно мы имеем дело с примерно 1 ГБ данных.
• У компании есть крупномасштабное решение ETL с круглосуточными группами экстренного реагирования, которые действуют в соответствии с планами действий в чрезвычайных ситуациях. >
• Большая часть обработки происходит один раз в день и обычно создает новые данные, которые могут быть востребованы/использованы только впоследствии.
• Обработка в основном основана на бизнес-логике, которая имеет тенденцию меняться со временем.
• Хотя вычисления не очень сложны, в их текущей реализации (приложение на основе Java) они состоят из нескольких шагов и включают множество связей между сущностями.
  Всегда есть вероятность, что команда разработчиков поменяется несколько раз за эти годы.

У меня не очень много опыта , поэтому этот контекст я считаю актуальным, но я буду рад предоставить больше, если необходимо.
Мы решили довести до конца решение ETL, и вот мои мысли:
Учитывая, что приложение используется только внутри компании и его сбой не повлияет ни на что, кроме него самого, я бы сказал, что система не является жизненно важной для нашей основной деятельности как компании. Я знаю, что не мне это говорить, и решение уже принято, но мне хотелось бы знать, имеют ли некоторые из моих опасений смысл. Мне кажется, что решение ETL более надежно и, конечно, более производительно, но я думаю, что удобство сопровождения будет сильно нарушено, особенно потому, что бизнес-логика и команда разработчиков имеют тенденцию меняться. Мои коллеги с этим не согласны, они говорят, что решение ETL в этом сценарии прекрасно обслуживается (как я уже сказал, вычисления не очень сложны, но есть несколько шагов и множество отношений между сущностями).
Итак, чтобы сделать это более узким:

• Имеет ли значение ремонтопригодность в этом решении?
• Есть ли такие многие специалисты ETL доступны в формате Java?

Будем признательны за любые дополнительные мысли.

Подробнее здесь: https://stackoverflow.com/questions/790 ... bscheduler