Я реализую готовый к использованию конвейер RAG, используя LangChain и ChromaDB (PersistentClient). Чтобы минимизировать задержку, я использую RunnableParallel для одновременного выполнения поиска по сходству и начальной фильтрации метаданных.
Однако при высокой степени параллелизма (несколько одновременных пользовательских запросов) мы сталкиваемся с периодическими ошибками Timeout или Locked на локальном уровне постоянства ChromaDB.
Известно ли это ограничение PersistentClient ChromaDB при обработке через асинхронный Python работники?
Есть ли способ оптимизировать пул соединений в локальной настройке LangChain?
Я реализую готовый к использованию конвейер RAG, используя LangChain и ChromaDB (PersistentClient). Чтобы минимизировать задержку, я использую RunnableParallel для одновременного выполнения поиска по сходству и начальной фильтрации метаданных. Однако при высокой степени параллелизма (несколько одновременных пользовательских запросов) мы сталкиваемся с периодическими ошибками Timeout или Locked на локальном уровне постоянства ChromaDB. Известно ли это ограничение PersistentClient ChromaDB при обработке через асинхронный Python работники? Есть ли способ оптимизировать пул соединений в локальной настройке LangChain?
Мобильная версия