Я создаю конвейер Python RAG, в котором встраивания (из преобразователей предложений/LaBSE) хранятся в векторной базе данных NoSQL для поиска по косинусному сходству.
Мои текущие требования:
• Обработка миллионов многомерных векторов (потенциально терабайты данных).
• Обеспечение быстрого поиска по сходству (косинус).
/>• Чистая интеграция с Python.
Я тестирую Milvus и Qdrant.
Вопрос:
Для крупномасштабного векторного поиска (косинусная метрика) как эти две базы данных сравниваются по производительности и масштабируемости при использовании через Python SDK?
Бенчмарки, архитектурные различия или ссылки на официальную документацию будут использоваться полезно.
(Я уже пробовал MongoDB + Postgres и обнаружил, что их векторный поиск слишком медленный.)
Кстати, каковы типичные размеры встраивания и характеристики косинусного подобия LaBSE по сравнению с text-embedding-3-large?
Подробнее здесь: https://stackoverflow.com/questions/797 ... r-large-sc
