Есть ли название для процесса создания группы обеспечения доступности баз данных на основе базовых данных и зависимостей ⇐ Python

[Anonymous]

Я беру на себя монорепозиторий программ обработки данных, которые выполняются поэтапно итеративно. Программисты указывают статус своей программы из главного списка для каждого итерационного запуска, и им необходимо координировать действия друг с другом, чтобы создать входной список для любого данного этапа.
Я хочу автоматизировать и обновить этот процесс, заменив список ручного ввода набором DAG, в котором указано, какие программы запускать на данном этапе, и который я могу передать планировщику заданий. Вся документация, которую я вижу в Интернете, предполагает, что DAG является отправной точкой с каждой программой как узлом, а края - как требования к другим программам, которые необходимо запустить в первую очередь.
Однако я чувствую, что начинаю с уровня, предшествующего уровню DAG, где программа Z на самом деле не заботится о запуске после программы Y, сразу после того, как какая-либо программа в главном списке изменяет любую из своих переменных набора входных данных или артефактов (файлы конфигурации, переменные env, плоский набор данных, файлы журналов и т. д.). И довольно часто программа зависела от другой программы на первом этапе, но не зависит на будущем этапе, потому что ее входные переменные изменились.
Существует ли имя или шаблон проектирования, который определяет, как каждая программа должна документировать свой набор данных, переменную среды и зависимости программы, чтобы я мог сгенерировать DAG для определенного этапа?

Подробнее здесь: https://stackoverflow.com/questions/798 ... data-and-c