Потоковая передача из AWS Lambda (среда выполнения Java) ⇐ JAVA

[Anonymous]

Я хотел бы создать чат-бота с искусственным интеллектом, используя Spring AI. Ответом от ChatClient может быть Flux:

Код: Выделить всё

Flux content = chatClient.prompt()
.user(message)
.stream()
.content();

Я хочу отобразить этот ответ во внешнем интерфейсе в виде бегущей строки. Однако я столкнулся с ограничением, при котором AWS Lambda рассматривает вызов функции как одно событие и по умолчанию не может генерировать потоковые ответы.
В AWS Lambda реализована потоковая передача ответов, которая изначально поддерживается для Node.js. . Кроме того, можно реализовать потоковую передачу ответов с использованием пользовательских сред выполнения и потоковую передачу полезных данных ответов через URL-адреса функций Lambda. Я попытался реализовать эту функциональность с помощью функций Spring Cloud с адаптером AWS, но мне это не удалось. Вот моя текущая конфигурация:

Код: Выделить всё

@Configuration
public class FunctionConfig {

private final ChatClient chatClient;

public FunctionConfig(ChatClient chatClient) {
this.chatClient = chatClient;
}

@Bean
Function chat() {
return message -> chatClient.prompt()
.user(message)
.stream()
.content();
}
}

Я создал URL-адрес функции Lambda с включенным RESPONSE_STREAM, но все равно получаю ответ в виде одной строки JSON в теле.
Кто-нибудь сталкивался и решал эту проблему? Будем очень признательны за любые рекомендации!

Подробнее здесь: https://stackoverflow.com/questions/793 ... va-runtime