Json.loads() завершается с ошибкой JSONDecodeError: дополнительные данные при анализе вывода LLM (маршрутизатор Ollama) ⇐ Python

[Anonymous]

Я использую LLM (через ollama.chat) в качестве маршрутизатора, который должен возвращать чистый JSON, который я затем анализирую с помощью json.loads().
Однако я продолжаю получать:
json.decoder.JSONDecodeError: Extra data: line 2 column 1 (char 61)

Соответствующий код:
def router(usr_inpt, history):
summary, recent = get_router_context(history)

router_input = {
"user_input": usr_inpt,
"conversation_summary": summary,
"recent_messages": recent
}

messages = [
{"role": "system", "content": routing_prompt},
{"role": "user", "content": json.dumps(router_input)}
]

response = ollama.chat(model=ROUTER_MODEL, messages=messages)

print(response.message.content) # debugging
return json.loads(response.message.content)

Пример: Ожидаемый результат:
{ "intent": "factual", "complexity": 1, "use_heavy": false }

Что я получаю:
{ "intent": "factual", "complexity": 1, "use_heavy": false }
Sure! This is a simple factual query.


Подробнее здесь: https://stackoverflow.com/questions/798 ... output-oll