Почему у моего LLM галлюцинации даже после использования многовекторного конвейера RAG с FAISS? [закрыто] ⇐ Python

[Anonymous]

Я реализовал конвейер RAG, используя:

• встраивания OpenAI (text-embedding-3-large)
• многовекторное индексирование (куски на уровне предложений)
• плоский индекс FAISS
• Извлечение Top-k = 5

Даже после этого LLM все еще галлюцинирует и иногда игнорирует полученный контекст.
Вещи, которые я уже проверил:

• Размеры внедрения верны
• Нормализация применяется
• Подсказки включают полученный контекст
• FAISS возвращает ожидаемых соседей

Какие дополнительные шаги могут уменьшить галлюцинации в многовекторной системе RAG?

Нужно ли мне переранжирование или сжатие контекста?

Подробнее здесь: https://stackoverflow.com/questions/798 ... ne-with-fa