Использование функциональности Langchain ChatOpenAI с LiteLLM ⇐ Python

[Anonymous]

Изначально я написал две функции, которые предоставляют мне модель и функцию, вызываемую непосредственно из OpenAI. Вот полный код:

Код: Выделить всё

from langchain_openai import ChatOpenAI

def get_open_ai(temperature=0, model='gpt-4'):

llm = ChatOpenAI(
model=model,
temperature = temperature,
)
return llm

def get_open_ai_json(temperature=0, model='gpt-4'):
llm = ChatOpenAI(
model=model,
temperature = temperature,
model_kwargs={"response_format": {"type": "json_object"}},
)
return llm

Проблема в том, что теперь мне нужно использовать LiteLLM в качестве прокси-сервера, который я пересылаю на локальный порт, например localhost:3005. Я знаю, что у меня должна быть возможность разместить где-нибудь openai_base = "localhost:3005" или что-то подобное, чтобы мой код напрямую попадал на шлюз LiteLLM вместо OpenAI, но это не работает в моем приведенном выше коде. Я также просмотрел документацию LiteLLM, в которой приведен пример с библиотекой OpenAI, а не с оболочкой Langchain. Может ли кто-нибудь сказать мне, что мне нужно изменить в своем коде, чтобы он работал с моим собственным сервером LiteLLM?

Подробнее здесь: https://stackoverflow.com/questions/790 ... th-litellm