Почему поиск документа FAISS медленно и непоследователен на экземпляре EC2 T3.MICRO? ⇐ Python

[Anonymous]

Я строю систему вопросов и ответов документа, используя Faiss для поиска вектора на экземпляре AWS EC2 T3.Micro (1 VCPU, 1 ГБ ОЗУ). Мой индекс FAISS относительно невелик (8,4 МБ .faiss + 1,4 МБ .pkl файлы), но я испытываю несовместимые времена поиска - иногда быстро ( 60 -е годы).
Проблема
после загрузки Faiss index в память - документ, документ - документ, документ - документ, документ - документ, документ - документ, документ - документ, документируется. Несовместимо:
Быстрые случаи: ec2 экземпляр: t3.micro (1 vcpu, 1gb ram) < /p>
Хранение: EBS General Actule SSD (gp2) < /p>
faiss version: последняя через Langchain < /p>
index size: 8.4mb (index.faiss) + 1,4mb (index.) + 1.4mb (index.) + 1,4 м. /> Entgeddings: Openai Text-Embedding-Ada-002 < /p>
фрагмент кода < /strong> < /p>

Код: Выделить всё

# Load vector store (cached after first load)
if context_file_path not in VECTOR_STORE_CACHE:
vector_store_path = os.path.join(VECTOR_STORE_ROOT, context_file_path)
VECTOR_STORE_CACHE[context_file_path] = FAISS.load_local(
vector_store_path,
embeddings,
allow_dangerous_deserialization=True
)

# Retrieve documents
vectorstore = VECTOR_STORE_CACHE[context_file_path]
retriever = vectorstore.as_retriever(search_kwargs={"k": 3})
docs = retriever.get_relevant_documents(query)  # This can take 60+ seconds

Вопросы [/b]
Почему поиск Faiss будет непоследовательным для одного и того же запроса на одном и том же индексе в памяти? Производительность?Loading vector store for OL_IGSE_Biology into memory...
Vector store for OL_IGSE_Biology cached in memory.
Starting document retrieval for query: 'who are organisms?...'
Document retrieval completed in 66.19 seconds. Found 3 docs.
< /code>
Любое понимание будет высоко оценено. Я ожидал, что поиск документов будет последовательно быстрым с индексом в памяти такого размера, особенно после начальной нагрузки.

Подробнее здесь: https://stackoverflow.com/questions/797 ... o-instance