S3 Предложения оптимизации загрузки | Ява 17 ⇐ JAVA

[Anonymous]

Мне нужно загрузить сообщения, которые я слушаю с темы кафки в ковш S3. Обработка потребляемых сообщений и отправка на другую тему является основным результатом сервиса, загрузка на S3 - более второстепенная вещь. Но добавление этого асинхронного шага загрузки резко замедляет мою службу. Есть несколько партий, которые дифференцированы с ключом сообщения. Вот мой пример кода: < /p>

Код: Выделить всё

public class KafkaConsumer {
ExecutorService executorService = Executors.newFixedThreadPool(50);

@KafkaListener(topic = {"topic"})
public void listen(ConsumerRecord record) {
Object obj = processMsg(record.value());
sendToAnotherTopic(obj); // primary objective
executors.submit(() -> uploadToS3(obj, record.key()); // secondary objective
}
}
< /code>
Объем ожидаемых сообщений огромный около 100 тысяч за 30 минут или около того. Каждый файл будет менее 2 МБ в размере. Я выделил 500 -метровый процессор для этого. 50 потоков слишком много для сервиса с этим процессором? Можете ли вы также пролить свет на то, как использование opplyblefuture 

сравнение или любые другие предложения, пожалуйста,

Подробнее здесь: https://stackoverflow.com/questions/794 ... ns-java-17