Проблема 1
Я хочу улучшить скорость поиска RAGFlow RAG и скорость внедрения фрагментов. В настоящее время встраивание одного PDF-файла занимает почти одну минуту. Например, если PDF-файл содержит 12 страниц, разделение на фрагменты займет почти 1,5 минуты. Я изменил тип фрагментации на другой метод, например, вручную, по книге, в вопросах и ответах, я получаю изменения только в количестве фрагментов.
Проблема 2
После разделения на фрагменты для поиска RAG требуется почти 20 секунд времени. Даже если это первая сессия с первым разговором, это занимает почти 1 минуту времени. Мне также нужно улучшить скорость поиска RAG. Для этого я пробовал различные комбинации, такие как изменение температуры, Top N, Top K и т. д., но никаких изменений.
Для встраивания мы используем maxba-embedd-largei:335m, а для чата gpt-oss:20b. Обе модели развертываются локально.
Подробнее здесь: https://stackoverflow.com/questions/798 ... embeddings
