Ускорьте LangGraph REACT + RAG.(Мультиагентный чат-бот) ⇐ Python

[Anonymous]

Я пытаюсь уменьшить задержку в чат-боте на базе LangGraph, который использует 14 агентов в стиле REACT. Уровень RAG извлекает внешние данные из векторной базы данных.
Проблема:

• Цикл рассуждений REACT запускает несколько циклов размышлений и действий.
• Извлечение RAG может быть медленным.
• В совокупности системе требуется 6–8 секунд, чтобы вернуть ответ

Я пытаюсь определить, является ли узким местом многоэтапная цепочка REACT, оркестровка агентов или векторный поиск. Если кто-то оптимизировал многоагентную архитектуру REACT, уменьшил глубину рассуждений или уменьшил задержку RAG, я был бы признателен за рекомендации — стратегии кэширования, сокращение агентов, пакетную обработку или структурные улучшения.

Подробнее здесь: https://stackoverflow.com/questions/798 ... nt-chatbot