KAFKA Streams Основная потребительская выборочная ставка остается низкой после восстановления Globalktable (Rocksdb) ⇐ JAVA

[Anonymous]

Я использую приложение Kafka Streams (протестированное с версиями 3.9.1 и 4.1.0), в котором используется Globalktable, поддерживаемый Rocksdb. Существует несколько экземпляров приложения, каждый с 4 потоками. Globalktable - это простое отображение от ID → значение, которое используется для обогащения потока. Файлы SST теряются после перезапуска, поэтому потоки глобального потока считывают полную тему. Основная тема для Globalktable, потребители начинают получать с гораздо более высокой скоростью (~ 200 тыс. MSGS /S), а использование ЦП увеличивается до 90 -х годов, пока не будет обработано лаг. Данные должны быть кэшированы в памяти.
Коэффициент попадания кэша находится близко к 1 большую часть времени. Я проверил с помощью метрик RockSDB, что размер кэша блока увеличился до емкости, но низкая частота потребительских извлечений сохранялась. В этом случае проблема не возникла - ставка извлечения потребителей увеличилась до того, что я ожидал.

Подробнее здесь: https://stackoverflow.com/questions/797 ... rocksdb-re