Тайм-аут опроса потребителей Kafka при низком уровне обработки ⇐ JAVA

[Anonymous]

Версия брокера Kafka: 2.6.2
Клиент Apache Kafka Java: 3.0.0
На прошлой неделе было несколько случаев, когда все потребители определенной группы потребителей продолжали умирать. с ошибкой:

Код: Выделить всё

consumer poll timeout has expired. This means the time between subsequent calls to poll() was longer than the configured max.poll.interval.ms, which typically implies that the poll loop is spending too much time processing messages. You can address this either by increasing max.poll.interval.ms or by reducing the maximum size of batches returned in poll() with max.poll.records.

У меня 200 разделов и 100 потребителей с совокупной скоростью приема 800 событий в секунду. Время обработки каждого события составляет примерно 60 мс. Для max.poll.interval.ms установлено значение по умолчанию — пять минут, как и max.poll.records=500. Я записал показатель time_between_poll_max, и он составляет всего 70–80 секунд. Итак, я точно знаю, что время обработки потребителя было меньше max.poll.interval.ms. Так что же еще может вызвать эту ошибку? Кроме того, я заметил, что poll_idle_ratio_avg был равен 0 в течение периода жизни потребителей, что для меня не имеет особого смысла.
Общая закономерность заключается в том, что один потребитель получает ошибка тайм-аута, и группа переходит в состояние ребалансировки, которое занимает вечность. В это время все остальные потребители будут исключены из группы из-за ошибки тайм-аута опроса.
Я вижу в журналах тысячи следующих сообщений:

Код: Выделить всё

[Consumer clientId==Consumer-2, groupId=EventsConsumer] Request joining group due to: group is already rebalancing

Поэтому я подозреваю, что настоящей причиной гибели всей группы является чрезвычайно долгая фаза ребалансировки. Хотя я не уверен, что является причиной этого.

Подробнее здесь: https://stackoverflow.com/questions/740 ... ing-is-low