Я реализую готовый к работе конвейер RAG, используя LangChain и ChromaDB (PersistentClient). Чтобы свести к минимуму задержку, я использую RunnableParallel для одновременного выполнения поиска по сходству и начальной фильтрации метаданных.
Однако при высоком уровне параллелизма (несколько одновременных пользовательских запросов) мы сталкиваемся с периодическими ошибками Timeout или Locked на локальном уровне постоянства ChromaDB.
Известно ли это ограничение PersistentClient ChromaDB при обработке через асинхронный Python работники?
Есть ли способ оптимизировать пул соединений в локальной настройке LangChain?
Подробнее здесь: https://stackoverflow.com/questions/799 ... h-chromadb
Мобильная версия