Устранение узких мест параллелизма в RunnableParallel LangChain с помощью ChromaDB PersistentClientPython

Программы на Python
Ответить
Anonymous
 Устранение узких мест параллелизма в RunnableParallel LangChain с помощью ChromaDB PersistentClient

Сообщение Anonymous »

Я реализую готовый к работе конвейер RAG, используя LangChain и ChromaDB (PersistentClient). Чтобы свести к минимуму задержку, я использую RunnableParallel для одновременного выполнения поиска по сходству и начальной фильтрации метаданных.
Однако при высоком уровне параллелизма (несколько одновременных пользовательских запросов) мы сталкиваемся с периодическими ошибками Timeout или Locked на локальном уровне постоянства ChromaDB.
Известно ли это ограничение PersistentClient ChromaDB при обработке через асинхронный Python работники?
Есть ли способ оптимизировать пул соединений в локальной настройке LangChain?

Подробнее здесь: https://stackoverflow.com/questions/799 ... h-chromadb
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»