Как ускорить поиск документов с помощью llama_index, используя локальную модель в Jupyter Notebook? ⇐ Python

[Anonymous]

Я работаю над проектом, который использует llama_index для получения информации о документе в Jupyter Notebook, но у меня очень медленное время ответа на запросы (около 15 минут на запрос). Я использую следующий код:

Код: Выделить всё

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.llms.ollama import Ollama

documents = SimpleDirectoryReader("C:path/example/data").load_data()

# Using bge-base embedding model
Settings.embed_model = HuggingFaceEmbedding(model_name="BAAI/bge-base-en-v1.5")

# Setting up Ollama LLM with a timeout of 1 hour
Settings.llm = Ollama(model="llama3", request_timeout=3600.0)

index = VectorStoreIndex.from_documents(documents)

query_engine = index.as_query_engine()
response = query_engine.query("What did the author do growing up?")
print(response)

Я запускаю это на локальном компьютере Jupyter Notebook, и для возврата результатов постоянно требуется 15 минут или больше.
Уменьшение request_timeout для ускорения запрос, но в результате возникает ошибка ReadTimeout

Код: Выделить всё

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.llms.ollama import Ollama

documents = SimpleDirectoryReader("C:path/example/data").load_data()

# Using bge-base embedding model
Settings.embed_model = HuggingFaceEmbedding(model_name="BAAI/bge-base-en-v1.5")

# Setting up Ollama LLM with a timeout of 1 hour
Settings.llm = Ollama(model="llama3", request_timeout=60.0)

index = VectorStoreIndex.from_documents(documents)

query_engine = index.as_query_engine()
response = query_engine.query("What did the author do growing up?")
print(response)

Как ускорить время ответа при запросе документов? Есть ли способы оптимизировать или полностью использовать локальную модель для повышения скорости поиска? В частности, есть ли способ локально обрабатывать встраивания и обработку LLM, чтобы избежать задержек или тайм-аутов в сети? Любая помощь по сокращению времени поиска или настройке локальной модели

Подробнее здесь: https://stackoverflow.com/questions/791 ... l-in-jupyt