Ошибка подключения в langchain с моделью llama2, загруженной локально ⇐ Python
-
Anonymous
Ошибка подключения в langchain с моделью llama2, загруженной локально
поднять ConnectionError(e, request=request) Requests.Exceptions.ConnectionError: HTTPConnectionPool(host='localhost', port=11434): превышено максимальное количество попыток с URL-адресом: /api/generate/ (вызвано NewConnectionError(': не удалось установить новое соединение: [WinError 10061] Не удалось установить соединение, поскольку целевая машина активно отказалась от него')) Я загрузил модель ламы из Hubing Face Hub. Это правильный способ использовать локально загруженную модель с langchain. Я не уверен в этом, может кто-нибудь проверить и подтвердить это, пожалуйста. Я не могу понять, откуда взялась вышеуказанная ошибка.
из langchain.prompts import PromptTemplate из langchain.chains импортировать LLMChain из langchain_community.llms.ollama импортировать Олламу model_path = "модель\\llama-2-7b-chat.ggmlv3.q8_0.bin" llm = Оллама (модель=путь_модели) Prompt = PromptTemplate.from_template("Создать сообщение в блоге на тему {topic}.") цепочка1 = LLMChain(llm=llm, подсказка=подсказка) theme = «Будущее графического дизайна для начинающих» вывод = цепочка1.invoke({"тема": тема}) печать (выход)
поднять ConnectionError(e, request=request) Requests.Exceptions.ConnectionError: HTTPConnectionPool(host='localhost', port=11434): превышено максимальное количество попыток с URL-адресом: /api/generate/ (вызвано NewConnectionError(': не удалось установить новое соединение: [WinError 10061] Не удалось установить соединение, поскольку целевая машина активно отказалась от него')) Я загрузил модель ламы из Hubing Face Hub. Это правильный способ использовать локально загруженную модель с langchain. Я не уверен в этом, может кто-нибудь проверить и подтвердить это, пожалуйста. Я не могу понять, откуда взялась вышеуказанная ошибка.
из langchain.prompts import PromptTemplate из langchain.chains импортировать LLMChain из langchain_community.llms.ollama импортировать Олламу model_path = "модель\\llama-2-7b-chat.ggmlv3.q8_0.bin" llm = Оллама (модель=путь_модели) Prompt = PromptTemplate.from_template("Создать сообщение в блоге на тему {topic}.") цепочка1 = LLMChain(llm=llm, подсказка=подсказка) theme = «Будущее графического дизайна для начинающих» вывод = цепочка1.invoke({"тема": тема}) печать (выход)
Мобильная версия