Granite 4.0 H-Micro с LangGraph create_react_agent, не вызывающим инструменты ⇐ Python

[Anonymous]

Я пытаюсь использовать IBM Granite 4.0 H-Micro-Q2_K.gguf локально с функцией create_react_agent() LangGraph (или более новой версией create_agent()) для автоматического вызова инструментов, определенных в Python.
У меня определены два инструмента:

• summarize_workspace(file_path: str)
• compare_workspace(source_path: str, target_path: str)

Когда я вызываю агента, выходные данные выглядят следующим образом:

Код: Выделить всё

"<tool_call>\n{name: compare_workspace, arguments: {"source_path"}}\n</tool_call>"
and the tools are never invoked.

Если я переключусь на gpt-4o-mini, тот же код работает нормально — модель генерирует допустимые структурированные вызовы инструментов, а LangGraph автоматически их выполняет.
Вызвана ли эта проблема тем, что квантованные/локальные модели не создают правильный JSON для вызовов инструментов?
Create_react_agent или create_agent не поддерживают эти локальные модели готовый вариант?
Существует ли рекомендуемый подход или платформа для локального запуска гибридных моделей рассуждения и надежного запуска инструментов, подобных GPT-40-mini, без использования облачных API?
Мне нужно решение, которое работает полностью локально, не полагаясь на облачные API.

Подробнее здесь: https://stackoverflow.com/questions/797 ... king-tools