Когнитивный поиск ИИ в хранилище BLOB-объектов с использованием Azure Open AI ⇐ C#

[Anonymous]

Я работаю над одним проектом, в котором мои данные (около 300 тыс.+ файлов .doc) находятся в хранилище BLOB-объектов, а все файлы имеют стандартный формат. Я использую когнитивный поиск AI для поиска нужных файлов с помощью Azure Open AI. Код ниже работает нормально, но не дает мне результатов более чем по 5 файлам, хотя доступны тысячи файлов.

Ниже мой код.

Код: Выделить всё

 var payload = new
{
dataSources = new[]
{
new
{
type = "AzureCognitiveSearch",
parameters = new
{
endpoint = azureSearchEndpoint,
key = azureSearchKey,
indexName = azureSearchIndex,
top = 20,
filter = filter
}
}
},
messages = new[]
{
new
{
role = "user",
content = userMessage
}
},
max_tokens = 2980
};

// Create an HttpClient instance
using (HttpClient client = new HttpClient())
{
// Set the request headers
client.DefaultRequestHeaders.Add("api-key", oaiKey);

// Serialize the payload
string serializedPayload = JsonConvert.SerializeObject(payload);

// Create the request content
StringContent cont = new StringContent(serializedPayload, System.Text.Encoding.UTF8, "application/json");
await Task.Delay(10000);
// Make the POST request
HttpResponseMessage response = await client.PostAsync($"{oaiEndpoint}/openai/deployments/{oaiDeploymentName}/extensions/chat/completions?api-version=2023-06-01-preview", cont);

// Read the response content

string responseContent = await response.Content.ReadAsStringAsync();
JObject parsedJson = JObject.Parse(responseContent);
resContent = (string)parsedJson["choices"]?[0]?["messages"]?[1]?["content"];

Я пытался добавить пакетную обработку, а также добавил несколько запросов в цикле, чтобы получить больше результатов и объединить их. Меняю такие параметры, как max token и top, но безуспешно!

Подробнее здесь: https://stackoverflow.com/questions/793 ... re-open-ai