Ошибка LangChain: «Groq в настоящее время не поддерживаетtool_choice='any». Должно быть одно из «auto», «none» или имя в ⇐ Python

[Anonymous]

Вот моя проблема:
Я использовал Groq API с моделью LLama 3.1 70B для реализации агентного RAG через LangGraph. Для этого мне пришлось установить библиотеку langchain_groq. Я установил самую последнюю версию с помощью pip install -U langchain_groq.
Затем я использовал следующий код для загрузки модели в переменную:

Код: Выделить всё

from langchain_groq import ChatGroq
llm=ChatGroq(api_key=groq_api_key, model_name="llama-3.1-70b-versatile", temperature=0.3)

Теперь я реализовал Agentic RAG с тремя инструментами на выбор, используя LangGraph.

Код: Выделить всё

tools=[
fetch_MOM_Docs,
fetch_Action_Tracker,
final_answer
]

При использовании кода llm.bind_tools(tools,tool_choice='auto') выдает следующую ошибку:

Код: Выделить всё

ValueError: Groq does not currently support tool_choice='any'. Should be one of 'auto', 'none', or the name of the tool to call.

Когда я проверил код функции связывания_tools langchain_groq в библиотеке, я понял, что библиотека не поддерживает ключевое слово «любое» для Groq. Хотя он поддерживает любой для OpenAI и других сервисов.
НО,
Когда я проверил документацию langchain, это четко указано в ' Обратите внимание» раздел документации о том, что для Groq поддерживается любое ключевое слово. См. ниже снимок документации.


Вот ссылка на документацию: https://python .langchain.com/v0.1/docs/modules/model_io/chat/function_calling/
Я хочу использовать Groq только для этой цели, поскольку он бесплатный и быстрый. Я что-то упустил или библиотека Langchain не обновлена ​​согласно документации?
Помогите мне, как обойти эту проблему. Я пробовал использовать ключевое слово «auto», но проблема в том, что в некоторых запросах агент не использует ни один из инструментов, хотя я определенно хочу, чтобы он использовал хотя бы один из инструментов.
Как я могу заставить его выбрать один из инструментов для получения информации на основе принятых им решений, не завершая при этом цикл без использования каких-либо инструментов?

Подробнее здесь: https://stackoverflow.com/questions/789 ... hould-be-o