Подскажите управление хранением в git v.s. БД ⇐ Python

[Anonymous]

Мы создаем приложение на основе LLM, которое получает много пользовательских данных из различных внутренних источников. Отправляет данные в различные подсказки, которые предоставляют ответы, необходимые для правильного заполнения форм. Раньше система была более простой: на вопрос отвечала одна подсказка LLM. Подсказки сохранялись в базе данных, чтобы метрики, связанные с подсказками, можно было записывать и использовать для будущих улучшений. Результаты подсказки были единообразными, что позволяло разработчикам подсказок изменять подсказки и выпускать новые улучшенные подсказки, как правило, без каких-либо изменений кода. По мере того, как мы движемся вперед и возможности LLM меняются, мы обнаруживаем, что сложная цепочка подсказок с различными связанными схемами для каждой подсказки дает лучшие результаты для задаваемых конечных вопросов. Чтобы уточнить, цепочки подсказок являются базовыми, когда вывод одного подсказки передается следующему, или условными, когда на основе вывода могут вызываться разные подсказки. Этот подход требует более сложной системы управления подсказками, и вопрос в том, следует ли хранить подсказки в git или в БД? Если мы храним в git, это позволяет легко обрабатывать изменения в цепочках подсказок и логике, а также легко реализовывать новые типы цепочек/потоков подсказок по мере возникновения необходимости. Однако мы теряем возможность разрешать быстрое обновление подсказок без обновления кода, а отслеживать метрики и сравнивать оценки двух разных подсказок становится сложнее, когда их необходимо связать с конкретным коммитом git. С другой стороны, хранение нескольких запросов, которые объединяются в цепочку в БД, и создание достаточно надежной кодовой базы, позволяющей обновлять все эти различные типы цепочек, может оказаться сложной задачей. Какой подход и наиболее эффективная архитектура рекомендуется использовать?

Подробнее здесь: https://stackoverflow.com/questions/798 ... git-v-s-db