Подскажите управление хранением в git v.s. БД ⇐ Python

[Anonymous]

Мы создаем приложение на основе LLM, которое берет много пользовательских данных из различных внутренних источников и отправляет данные на различные запросы, которые предоставляют ответы, необходимые для правильного заполнения форм.
Раньше система была более простой, когда на вопрос отвечало одно приглашение LLM. Подсказки сохранялись в базе данных, чтобы метрики, связанные с подсказками, можно было записывать и использовать для будущих улучшений. Результаты подсказки были единообразными, что позволяло разработчикам подсказок модифицировать подсказки и выпускать новые улучшенные подсказки, как правило, без каких-либо изменений кода.
По мере того, как мы двигаемся вперед и возможности LLM меняются, мы обнаруживаем, что сложная цепочка подсказок с различными связанными схемами для каждой подсказки дает лучшие результаты для задаваемых конечных вопросов. Цепочки подсказок могут быть простыми потоками друг к другу или условными, когда в зависимости от вывода могут вызываться разные подсказки.
Этот подход требует более сложной системы управления подсказками, и вопрос в том, следует ли хранить подсказки в git или в базе данных?
Если мы храним в git, это позволяет легко обрабатывать изменения в цепочках подсказок и логике, а также легко реализовывать новые типы цепочек/потоков подсказок по мере возникновения необходимости. Однако мы теряем возможность разрешать быстрое обновление подсказок без обновления кода и показателей отслеживания, а сравнение оценок двух разных подсказок усложняется, когда их необходимо связать с конкретной версией кода/фиксацией git.
С другой стороны, хранение нескольких подсказок, которые объединяются в цепочку в БД, и создание достаточно надежной базы кода, позволяющей обновлять все эти различные типы цепочек, может оказаться сложной задачей.
Каков рекомендуемый подход и самая эффективная архитектура?

Подробнее здесь: https://stackoverflow.com/questions/798 ... git-v-s-db