Как интерпретировать изображения в API OpenAI GPT-4 с внешними ссылками? ⇐ C#

[Anonymous]

Я пытаюсь использовать API OpenAI GPT-4 для интерпретации изображений, предоставленных как внешние URL-адреса, в частности снимков экрана, связанных с проблемами Autodesk Revit. Мое приложение отправляет описание проблемы и ссылку на снимок экрана в API, но в ответе указывается, что изображение невозможно обработать.
Вот фрагмент кода, который я использую:

Код: Выделить всё

private async Task SendMessageToGPT(string description, string imageUrl)
{
using (HttpClient client = new HttpClient())
{
client.DefaultRequestHeaders.Add("Authorization", apiKey);

var content = new
{
model = "gpt-4o-mini",
messages = new[]
{
new { role = "system", content = "You are a Revit Support Assistant, solving issues related to Autodesk Revit." },
new { role = "user", content = $"Here is a problem description: {description}. Also, take a look at this screenshot: {imageUrl}. Interpret the screenshot and provide a detailed response." }
}
};

string jsonContent = JsonConvert.SerializeObject(content);
HttpContent httpContent = new StringContent(jsonContent, Encoding.UTF8, "application/json");

HttpResponseMessage response = await client.PostAsync("https://api.openai.com/v1/chat/completions", httpContent);
string responseBody = await response.Content.ReadAsStringAsync();

dynamic result = JsonConvert.DeserializeObject(responseBody);

if (result?.choices != null && result.choices.Count > 0)
{
return result.choices[0].message.content;
}
else
{
return "There was an issue with the API response. Please check the response structure.";
}
}
}

К сожалению, я продолжаю получать сообщение о том, что изображения не могут быть обработаны.
Я понимаю, что модель GPT-4 может не поддерживать анализ изображений напрямую. через ссылку в текстовом запросе. Существует ли особый способ отправки изображения (через URL-адрес или другим способом) для его интерпретации API? Существует ли другая модель OpenAI или конечная точка API, которая позволяет обрабатывать изображения, или мне следует использовать другой подход?
Любые рекомендации о том, как правильно интегрировать распознавание изображений в API GPT-4 или связанные сервисы Будем очень признательны.
Спасибо, что уделили время!

Подробнее здесь: https://stackoverflow.com/questions/789 ... rnal-links