Назначены одновременные потребители и разделы KafkaJAVA

Программисты JAVA общаются здесь
Ответить Пред. темаСлед. тема
Гость
 Назначены одновременные потребители и разделы Kafka

Сообщение Гость »


Мы используем Kafka для доставки событий в наш микросервис. Мы заполняем/используем поле «ключ», чтобы гарантировать, что события с одним и тем же ключом помещаются в один и тот же раздел и обрабатываются последовательно. Мы также настроили потребительский параллелизм, создав множество контейнеров-прослушивателей в одном экземпляре микросервиса. недавно во время тестирования мы увидели, что 5 из 6 контейнеров-прослушивателей обрабатывают события с одним и тем же ключом.
Изображение
(здесь мы видим, что ListenerContainer- обрабатывает событие с одним и тем же ключом. Указатель останова был условным для ключа)

Я видел другой пост (или здесь), в котором рекомендуется создание ConsumerRebalanceListener

Действительно ли необходимо вручную обрабатывать назначение разделов при использовании потребительского параллелизма?

использование ключей для сохранения назначения разделов кажется поведением по умолчанию, почему его нужно переписывать?
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в «JAVA»