Частичный ответ из-за максимального охвата токенов при использовании AWS BedrockJAVA

Программисты JAVA общаются здесь
Anonymous
Частичный ответ из-за максимального охвата токенов при использовании AWS Bedrock

Сообщение Anonymous »

Я использую aws java sdk BedrockRuntimeAsyncClient.invokeModelWithResponseStream, который считывает несколько изображений в качестве мультимодального приглашения и выдает результаты анализа. Но я получаю частичный ответ, потому что ответ прерывается из-за достижения максимального токена. Я уже использую максимальное значение токена для 8192 модели claude-3-5-sonnet-20240620. Как мне справиться с такой ситуацией, когда я хочу получить полный ответ?
Ссылка:
InvokeModelWithResponseStream
https://docs.aws.amazon.com/sdk- for-java/latest/developer-guide/java_bedrock-runtime_code_examples.html

Подробнее здесь: https://stackoverflow.com/questions/790 ... ws-bedrock

Вернуться в «JAVA»