Почему графический процессор не ускоряет векторный поиск в Milvus по сравнению с процессором? ⇐ Python

[Anonymous]

Я пытаюсь использовать графический процессор для ускорения векторного запроса и поиска в Milvus 1 миллиона точек данных с векторной размерностью 1536. Однако я не вижу какого-либо значительного улучшения производительности с графическим процессором по сравнению с центральным процессором. Вот мои настройки и то, что я пробовал:
Окружающая среда:

• ЦП: 2 процессора Intel(R) Xeon(R) Gold 5320 @ 2,20 ГГц (104 потока)
• ГП: 2 процессора NVIDIA A100 80 ГБ PCIe
• Версия драйвера NVIDIA: 555.42.02
• Версия CUDA: 12.5

Шаги:
Запущена служба ЦП, следующая Запустите Milvus в Docker.
Запущена служба графического процессора после запуска Milvus с поддержкой графического процессора с помощью Docker Compose.
Вставлены данные с использованием модифицированной версии примера hello_milvus.py:
Объем данных изменен на 1 миллион, а размерность - на 1536.
Для ЦП: используется индекс IVF_FLAT с nlist=2048.
Для графического процессора: используется индекс GPU_IVF_FLAT с nlist=2048.
Поиск. данные, используя следующий код Python:

Код: Выделить всё

from pymilvus import MilvusClient, DataType
import time
import numpy as np
import string
import random

milvus_uri = ""
collection_name = ""
client = MilvusClient(uri=milvus_uri)
client.load_collection(collection_name)

search_params = {
"metric_type": "L2",
"params": {"nprobe": 32},
}
vectors_to_search = [np.random.rand(1536).tolist()]
start_time = time.time()
result = client.search(
collection_name=collection_name,
data=vectors_to_search,
filter=filter_expr,
anns_field="embeddings",
search_params=search_params,
limit=10,
output_fields=["random"],
consistency_level="Eventually"
)
end_time = time.time()
print(f"time cost {end_time-start_time}")

GPU IVF FLAT (nprobe: 32):



Параллелизм
QPS




1
681


5
594


10
546



CPU IVF FLAT (nprobe: 32):



Параллелизм
QPS




1
680


5
609


10
580



Мой вопрос
Почему графический процессор не имеет эффекта ускорения? Пожалуйста, помогите мне увидеть, есть ли что-то не так с вышеуказанной операцией. Я искренне надеюсь на помощь, спасибо

Подробнее здесь: https://stackoverflow.com/questions/790 ... red-to-cpu