Реплицировать с помощью llama-index иstreamlit – невозможно найти документы ⇐ Python

[Anonymous]

Я запускаю приведенный ниже код на графическом процессоре через:

Код: Выделить всё

streamlit run replicate_lama2.py

import os
import traceback
import sys
import streamlit as st

os.environ["REPLICATE_API_TOKEN"] = "my_key"

from llama_index.llms import Replicate

llama2_7b_chat = "meta/llama-2-7b-chat:8e6975e5ed6174911a6ff3d60540dfd4844201974602551e10e9e87ab143d81e"
llm = Replicate(
model=llama2_7b_chat,
temperature=0.01,
additional_kwargs={"top_p": 1, "max_new_tokens": 300},
)

from llama_index import VectorStoreIndex, SimpleDirectoryReader
from llama_index.embeddings import HuggingFaceEmbedding
from llama_index import ServiceContext

embed_model = HuggingFaceEmbedding(model_name="BAAI/bge-small-en-v1.5")
service_context = ServiceContext.from_defaults(
llm=llm, embed_model=embed_model
)

documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(
documents, service_context=service_context
)

#index = VectorStoreIndex.from_documents(documents)

# Get the query engine
query_engine = index.as_query_engine(streaming=True)

# Create a Streamlit web app
#st.title("LLM Query Interface")
query = st.text_input("Enter your query:")
submit_button = st.button("Submit")

if submit_button:
# Query the engine with the defined query
response = query_engine.query(query)
st.write("### Query Result:")
st.write(response)

Мой каталог «данные», содержащий различные файлы, в которых я хочу выполнять свои запросы, находится в том же каталоге, где находится сценарий replication_lama2.py. Когда я запускаю это, мне предлагается открыть этот чат в веб-браузере (Firefox), и я могу задать вопрос (на который определенно можно ответить из документов в каталоге / data), но вместо ответа я получаю вывод во вложении, в котором говорится «Нет доступного документа». Как заставить это работать?



Подробнее здесь: https://stackoverflow.com/questions/778 ... -documents