Почему Milvus иногда зависает на неопределенный срок при построении индексов GPU-CAGRA? ⇐ Python

[Anonymous]

Я испытываю недетерминированное бесконечное зависание при построении индекса GPU-CAGRA в Milvus 2.6.6 (автономный режим).
Вот моя настройка:

• Версия Milvus: 2.6.6
• Развертывание: автономное
• SDK: pymilvus
• ОС: Ubuntu
• ЦП/Память: 32 ядра/512 ГБ
• Графический процессор: 4 × NVIDIA A100 (40 ГБ)
• Размер вектора: 2560
• Размер набора данных: ~100 тыс. векторов

Поведение непоследовательно:

• С тем же кодом и средой
• Иногда индекс GPU-CAGRA строится успешно.
• Иногда он зависает на неопределенный срок во время построения индекса.
• В журналах не появляются ошибки или паники.
• Процесс Milvus продолжает работать, но перестает создавать новые выходные данные журнала.

Судя по журналам, построение индекса обычно останавливается на следующем месте:

Код: Выделить всё

optimizing graph
Graph optimized, creating index
Saving CAGRA index with dataset

В случае зависания это сообщение появляется один раз, а затем больше ничего не происходит.
Я проверил, что:

• Прием данных работает правильно
• Индексы FLAT строятся надежно
• Проблема возникает только с индексами GPU-CAGRA
  />

Мой главный вопрос:

Что обычно вызывает недетерминированные бесконечные зависания при построении индексов GPU-CAGRA в Milvus 2.6.x, и связано ли это с обработкой ресурсов графического процессора, параметрами индекса или известными проблемами в реализации GPU-CAGRA?


Подробнее здесь: https://stackoverflow.com/questions/798 ... ra-indexes