Ошибка подключения в langchain с моделью llama2, загруженной локальноPython

Программы на Python
Ответить
Anonymous
 Ошибка подключения в langchain с моделью llama2, загруженной локально

Сообщение Anonymous »


поднять ConnectionError(e, request=request) Requests.Exceptions.ConnectionError: HTTPConnectionPool(host='localhost', port=11434): превышено максимальное количество попыток с URL-адресом: /api/generate/ (вызвано NewConnectionError(': не удалось установить новое соединение: [WinError 10061] Не удалось установить соединение, поскольку целевая машина активно отказалась от него')) Я загрузил модель ламы из Hubing Face Hub. Это правильный способ использовать локально загруженную модель с langchain. Я не уверен в этом, может кто-нибудь проверить и подтвердить это, пожалуйста. Я не могу понять, откуда взялась вышеуказанная ошибка.
из langchain.prompts import PromptTemplate из langchain.chains импортировать LLMChain из langchain_community.llms.ollama импортировать Олламу model_path = "модель\\llama-2-7b-chat.ggmlv3.q8_0.bin" llm = Оллама (модель=путь_модели) Prompt = PromptTemplate.from_template("Создать сообщение в блоге на тему {topic}.") цепочка1 = LLMChain(llm=llm, подсказка=подсказка) theme = «Будущее графического дизайна для начинающих» вывод = цепочка1.invoke({"тема": тема}) печать (выход)
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»