Langchain ChatOllama всегда выдает неверный формат: ожидаемая ошибка «json». ⇐ Python

[Anonymous]

Просто пытаюсь следовать базовому руководству по langchain: https://python.langchain.com/v0.2/docs/ ... local_rag/
Супер простой код:

Код: Выделить всё

from langchain_ollama import ChatOllama
import logging

logging.basicConfig(
level=logging.DEBUG,
format='%(asctime)s.%(msecs)03d [%(levelname)s]: %(message)s',
datefmt='%H:%M:%S'
)

logging.info("### Starting up")

llm = ChatOllama(
model="llama3.1",
)

response_message = llm.invoke(
"What are you?"
)

print(response_message.content)

Что бы я ни пытался, я всегда получаю эту ошибку:

Код: Выделить всё

Exception has occurred: ResponseError
invalid format: expected "json" or a JSON schema
File "C:\XXXX\local_rag\main.py", line 16, in 
response_message = llm.invoke(
^^^^^^^^^^^
ollama._types.ResponseError: invalid format: expected "json" or a JSON schema

Попробовал несколько разных подходов, включая сообщения[], PromptTemplate, потоковую передачу и т. д. из https://python.langchain.com/docs/integ ... at/ollama/, но всегда получал одно и то же. ошибка.
Нет проблем с остальным API, т.е.

Код: Выделить всё

curl http://localhost:11434/api/chat -d '{
"model": "llama3.1",
"messages": [
{ "role": "user", "content": "why is the sky blue?" }
]
}'

Будем благодарны за любую помощь. Очень надеюсь, что я просто делаю здесь что-то глупое.
Изменить:
Версия Ollama имеет значение, но также и установка llm.format = None< /code> работает так, как предложено в комментарии.

Подробнее здесь: https://stackoverflow.com/questions/792 ... json-error