Мне нужно загрузить сообщения, которые я слушаю с темы кафки в ковш S3. Обработка потребляемых сообщений и отправка на другую тему является основным результатом сервиса, загрузка на S3 - более второстепенная вещь. Но добавление этого асинхронного шага загрузки резко замедляет мою службу. Есть несколько партий, которые дифференцированы с ключом сообщения. Вот мой пример кода: < /p>
public class KafkaConsumer {
ExecutorService executorService = Executors.newFixedThreadPool(50);
@KafkaListener(topic = {"topic"})
public void listen(ConsumerRecord record) {
Object obj = processMsg(record.value());
sendToAnotherTopic(obj); // primary objective
executors.submit(() -> uploadToS3(obj, record.key()); // secondary objective
}
}
< /code>
Объем ожидаемых сообщений огромный около 100 тысяч за 30 минут или около того. Каждый файл будет менее 2 МБ в размере. Любые предложения по оптимизации этого
Подробнее здесь: https://stackoverflow.com/questions/794 ... ns-java-17
