Моя модель llama2 разговаривает сама с собой, задает вопрос и отвечает на него, используя диалоговую поисковую цепочку. ⇐ Python

[Anonymous]

Я реализовал RAG в документе с использованием модели LLama2, но моя модель задает сама себе вопросы и отвечает на них.

Код: Выделить всё

llm = LlamaCpp(model_path=model_path,
temperature=0,
max_tokens=2000,
top_p=0.1,
n_ctx=2048,

)

qa_chain = ConversationalRetrievalChain.from_llm(
llm,
vectorstore.as_retriever(search_kwargs={'k': 2}),
)

chat_history = []
while True:
query = input('Prompt: ')
if query.lower() in ["exit", "quit", "q"]:
print('Exiting')
sys.exit()
result = qa_chain({'question': query, 'chat_history': chat_history})
print('Answer: ' + result['answer'] + '\n')
chat_history.append((query, result['answer']))

Я пробовал большинство онлайн-решений, но большинство из них не используют этот способ.


Подробнее здесь: https://stackoverflow.com/questions/790 ... to-them-us