Openai Azure Catt.completions.create Stalling, не бросая исключение ⇐ Python

[Anonymous]

У меня есть конечная точка FASTAPI, которая транслирует ответ от Azure OpenAI: < /p>

Код: Выделить всё

@router.post("/message", dependencies=[Depends(validate_auth)])
def message(sessionID: str = Form(...), messages: str = Form(...), selectedModel: str = Form(...), file: UploadFile = Form(None)):
message_list = json.loads(messages)
return StreamingResponse(stream_chat(message_list, sessionID, selectedModel))

def stream_chat(messages: list[ChatCompletionMessageParam], session_id: str, selected_model: str) -> Generator[StreamingResponseChunk, None, None]:
print('entered stream_chat')
completion_stream = azure_openai_client.chat.completions.create(
model=selected_model,
messages=messages,
stream=True,
timeout=45,
**DEFAULT_MODEL_CONFIG
)
print('completion_stream created!')
#. . .

В некоторых случаях Azure_openai_client.chat.completions.create будет бесконечно останавливаться и привести к каждый последующий запрос на бесконечно останавливается и . Как только ошибка возникает, каждый запрос достигает «введена stream_chat», но не «oppetion_stream», созданный! », Пока я не сбросил экземпляр Fastapi. Никаких исключений не поднимается, даже после удара 45 -секундного тайм -аута. Я также не смог воссоздать ошибку. Что на земле происходит?

Подробнее здесь: https://stackoverflow.com/questions/795 ... -exception