KAFKA Streams Основная потребительская выборочная ставка остается низкой после восстановления Globalktable (Rocksdb) ⇐ JAVA

[Anonymous]

Я использую приложение Kafka Streams (протестированное с версиями 3.9.1 и 4.1.0), в котором используется Globalktable, поддерживаемый Rocksdb. Существует несколько экземпляров приложения, каждый с 4 потоками. Globalktable - это простое отображение от ID → значение, которое используется для обогащения потока. Файлы SST теряются после перезапуска, поэтому потоки глобального потока считывают полную тему. Повторно продуцируйте все данные в базовую тему для Globalktable. После этого перезаписывания скорость выбора увеличивается. < /P>
Globalktable содержит около 500 МБ данных, а базовая тема настроена как компактная.
Я устанавливает размер блока Rocksdb для примерно размера набора данных, поэтому большинство данных следует кэшировать. в SetGlobalStaterestorElistener. Я проверил с помощью метрик RockSDB, что размер кэша блока увеличился до емкости, но низкая частота потребительских извлечений сохранялась. В этом случае проблема не возникла - ставка извлечения потребителей увеличилась до того, что я ожидал.

Подробнее здесь: https://stackoverflow.com/questions/797 ... rocksdb-re