Как разделить задачи по модулям в OpenShift? Я хочу создать систему, в которой мастер определяет количество разделов и модулей и распределяет задачи по рабочим модулям. Возможно ли это? Я знаю, что если я настрою один пакет для каждого модуля, он отключится после завершения. Как в этом случае завершатся работу модулей? Как только они закончат, они автоматически отключатся? Например, вместо того, чтобы настраивать по одному заданию для каждого модуля в OpenShift, я хочу использовать одно задание для обработки пакета с задачами, разделенными на рабочие модули и повторяющимися для нескольких пакетов. Это хороший дизайн?
Мои входные данные в ETL — 100 папок и структура папок следующая.
корень -> ПапкаA -> 96 папок -> 4 файла (.fasta, .csv, .txt, .csv) в каждой из 96 папок. Я хочу параллельно анализировать/сохранять 96 файлов fasta, затем параллельно 96 файлов .csv и так далее. Это должно произойти для каждой папки в корне.
Технический стек
- Spring Boot 3.4
- Spring Batch 4
- OpenShift 4.18
- Java 21
Подробнее здесь: https://stackoverflow.com/questions/797 ... -openshift
