Невозможно отправить запрос на чат в VLLM Pixtral на Python с помощью MistralAI. ⇐ Python

[Anonymous]

У меня локально работает сервер Pixtral.
Я установил Mistralai 1.2.3 на MacOS и пытаюсь взаимодействовать с сервером.
Когда я бегаю

Код: Выделить всё

curl -X POST http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model": "mistralai/Pixtral-12B-2409", "messages": [{"role": "user", "content": "What is the best French cheese?"}]}'

Я получаю ожидаемый ответ, но когда запускаю его из Python

Код: Выделить всё

from mistralai import Mistral

model = "mistralai/Pixtral-12B-2409"
client = Mistral(server_url="http://localhost:8000")

chat_response = client.chat.complete(
messages=[
{
"role": "user",
"content": "What is the best French cheese?"
}
],
model=model,
)

print(chat_response.choices[0].message.content)

Я получаю следующую ошибку:

Код: Выделить всё

    raise models.SDKError(
mistralai.models.sdkerror.SDKError: API error occurred: Status 400
{"object":"error","message":"[{'type': 'extra_forbidden', 'loc': ('body', 'safe_prompt'), 'msg': 'Extra inputs are not permitted', 'input': False}]","type":"BadRequestError","param":null,"code":400}

Как решить эту проблему?

Подробнее здесь: https://stackoverflow.com/questions/792 ... -mistralai