Я сейчас работаю над проектом, используя Java Spring Boot с Apache Kafka. У нас есть несколько микросервисов, общающихся через KAFKA, и наша система предназначена для обработки около 100 000 событий (журналов) в секунду (EPS), и каждый размер пакета составляет около 3 кб.
Однако я сталкиваюсь с значительной проблемой производительности. Я попробовал несколько оптимизаций конфигурации загрузки Kafka и Spring, но проблема все еще сохраняется. Но когда я прокомментирую код продюсера Kafka, обработка становится очень быстрой.
Это ясно указывает на то, что производитель Kafka является узким местом, но я не уверен, что конкретно вызывает проблему - будь то неправильная конфигурация, блокировка ввода /вывода, схоже, что -то, что -то, что -то, что -то вроде или что -то, что -то, что -то, что -то, что -то, что -то впал в проблему? Я действительно надеюсь преодолеть этот контрольно -пропускной пункт с руководством сообщества. < /P>
Спасибо!KafkaProducerConfig.java
Bean(name = "packetData")
public KafkaProducer packetDataKafkaProducer() {
Map config = new HashMap();
config.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, kafkaURLConfiguration.getKafkaURL());
config.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
config.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, JsonSerializer.class);
config.put(ProducerConfig.DELIVERY_TIMEOUT_MS_CONFIG, 600000);
config.put(ProducerConfig.BATCH_SIZE_CONFIG, 200000);
config.put(ProducerConfig.LINGER_MS_CONFIG, 10);
config.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, COMPRESSION_TYPE);
return new KafkaProducer(config, new StringSerializer(), new JsonSerializer());
}
ProducerService.java
ProducerRecord records = new ProducerRecord(driver.getCollectionTopic(), packetData);
kafkaProducer.send(records);
Подробнее здесь: https://stackoverflow.com/questions/796 ... pring-boot
