Azure AI Foundry развернула поток запросов, обеспечивающий различные ответы в чате сеанса вычислений и вызове API конечн ⇐ C#

[Anonymous]

Я пытаюсь создать чат-бота для поддержки клиентов с помощью Azure AI Studio/Foundry. Я создал поток запросов, используя ChatPlayground, и развернул его. При тестировании модели в функции чата сеанса вычислений Promptflow ответ на запрос соответствует ожиданиям: модель отвечает в ожидаемом формате с соответствующими индексированными данными. Однако когда я вызываю конечную точку развернутого потока запросов и отправляю ему тот же запрос, ответ не соответствует ожиданиям и имеет правильный формат, но не предоставляет соответствующие индексированные данные как часть своего ответа и вместо этого запрашивает у пользователя дополнительные сведения. подробную информацию об их запросе.
Я тестировал его несколько раз с одним и тем же запросом, а также с другими, и ответы каждый раз в разной степени различались.
Вот код C#, который я использовал для вызова развернутой конечной точки. потока подсказок:

Код: Выделить всё

using (HttpClient client = new HttpClient())
{

client.DefaultRequestHeaders.Add("Authorization", $"Bearer {apiKey}");
client.DefaultRequestHeaders.Add("azureml-model-deployment", modelDeploymentName);

var requestBody = new
{
chat_history = chatHistory,
question = prompt
};

string jsonRequestBody = Newtonsoft.Json.JsonConvert.SerializeObject(requestBody);

var response = await client.PostAsync(
endpointUrl,
new StringContent(jsonRequestBody, Encoding.UTF8, "application/json")
);

if (response.IsSuccessStatusCode)
{

return await response.Content.ReadAsStringAsync();
}
else
{

string errorMessage = await response.Content.ReadAsStringAsync();
throw new Exception($"Error: {response.StatusCode}, Details: {errorMessage}");
}
}

Я совершенно уверен, что вызываю API правильно, поскольку он предоставляет ответ, но не тот, который ожидался. Есть ли у кого-нибудь идеи, что может быть причиной несоответствия в ответах на один и тот же запрос между вызовом конечной точки и общением с ней напрямую в сеансе вычислений?

Подробнее здесь: https://stackoverflow.com/questions/792 ... compute-se