Оллама - Проблема описания изображения SpringAi (обнаружения) ⇐ JAVA

[Anonymous]

У меня есть этот код при весенней загрузке, а фоновым LLM является Ollama:

Код: Выделить всё

package sample.rag.vector;
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.core.io.Resource;
import org.springframework.util.MimeTypeUtils;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

import java.io.IOException;

@RestController
public class ImageDetection {

private final ChatClient chatClient;
@Value("classpath:/images/sh.jpg")
Resource sampleImage;

public ImageDetection(ChatClient.Builder builder) {
this.chatClient = builder.build();
}

@GetMapping("/imgtotxt")
public String image() throws IOException {
return chatClient.prompt()
.user(u -> u
.text("what you see in the following image?")
.media(MimeTypeUtils.IMAGE_JPEG,sampleImage)
)
.call()
.content();
}
}

И это работает с OpenAI (ChatGPT), но в Ollama он возвращает следующее сообщение, когда я вызываю imgtotxt REST Api.
Сообщение: я не знаю увидеть любое изображение. Вы предоставили текстовое представление изображения, но у меня нет возможности визуального доступа к изображениям. Если вы хотите описать мне этот образ, я сделаю все возможное, чтобы помочь вам его понять. Кроме того, если вы поделитесь ссылкой или загрузите изображение напрямую, я смогу вам помочь.
Есть ли какие-либо проблемы в коде или это, по сути, проблема Олламы?

Подробнее здесь: https://stackoverflow.com/questions/791 ... on-problem