Я написал агент чат-бота FOSS на Python, который использует LLM Олламы. Я использую расширенную генерацию поиска и поиска DuckDuckGo, чтобы получить контекст для моих подсказок. Я также использую Langchain для быстрой сборки и истории чата. Я храню вложения и использую их для RAG. У меня также есть функции TTS и STT. Я ищу идеи по улучшению своей кодовой базы и ее ускорению. Код тщательно документирован и прокомментирован. Сюда входит руководство по архитектуре и API. Если вы можете предложить какие-либо предложения, пожалуйста, помогите. https://github.com/MikeyBeez/RAGAgent.
Подробнее здесь: https://stackoverflow.com/questions/786 ... my-chatbot