Использование Local LLM с LM Studio для создания агентов ⇐ Python

[Anonymous]

Я использую модель phi-3-mini-4k-instruct из студии LM и запускаю http-сервер на своем компьютере. Затем у меня есть сценарий агентов, использующий эту модель. Но проблема в том, что когда я запускаю сценарий своих агентов, а не распознаюсь как созданный мной агент, он все равно остается моделью. Ниже приведен мой текущий сценарий, и когда я спрашиваю его: «Вы служитель церкви?» он ответил мне
"Нет, я не являюсь церковным помощником как таковым. Однако я могу предоставлять информацию о церквях, помогать отвечать на вопросы, связанные с религией и религиозными практиками, или помогать в поиске религиозных услуг в Интернете. Моя цель как ИИ — поддерживать и направлять пользователей, используя имеющиеся у меня знания, вплоть до моих последних данных обучения".
Как это исправить?
from dotenv import load_dotenv
from langchain_openai import ChatOpenAI
from google_drive_csv import list_drive_files, read_csv_from_drive, read_google_sheet
from langchain_core.prompts import ChatPromptTemplate
from langchain.agents import create_tool_calling_agent, AgentExecutor

load_dotenv()

llm = ChatOpenAI(model="gpt-4o", base_url="http://localhost:1234/v1", api_key="lm-studio")
tools = [list_drive_files, read_csv_from_drive, read_google_sheet]

prompt = ChatPromptTemplate.from_messages(
[
(
"system",
"""
You are a church treasurer assistant that will help manage church finances using csv files.
Answer the user query and use neccessary tools to help the church treasurer with the monthly csv files.
""",
),
("human", "{query}"),
("placeholder", "{agent_scratchpad}"),
]
)

agent = create_tool_calling_agent(
llm=llm,
prompt=prompt,
tools=tools
)

agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True)
query = input("What can i help you assist? ")
raw_response = agent_executor.invoke({"query": query})
print(raw_response)


Подробнее здесь: https://stackoverflow.com/questions/798 ... ild-agents