Автоматизированная система обработки данных с LLM и векторными базами данных: архитектура и оценка ⇐ Python

[Anonymous]

Я впервые пишу об этом здесь, поэтому, пожалуйста, простите меня, если я допущу ошибки.
Я работаю над проектом по автоматизации повторяющихся задач по обработке данных ( например, очистка, форматирование и составление отчетов) с использованием инструментов Python и больших языковых моделей (LLM). Мой план:

• Использовать такие платформы, как LangChain или CrewAI, для управления подсказками пользователей и взаимодействиями с LLM.
• Сохранять предустановленные правила и рекомендации в векторной базе данных (например, Pinecone, ChromaDB), на которые LLM сможет ссылаться во время обработки.

Считаете ли вы, что такая архитектура имеет смысл? Как я могу эффективно оценить производительность системы при интерпретации подсказок, выполнении рабочих процессов и обеспечении надежности?
Я буду очень признателен за ваш вклад, если у вас есть предложения по инструментам, передовым практикам или ресурсам!

Подробнее здесь: https://stackoverflow.com/questions/792 ... tecture-an