Кафка потребительский тайм -аут, когда обработка низкая ⇐ JAVA

[Anonymous]

Версия брокера Kafka: 2.6.2
kafka java apache Клиент: 3.0.0 < /p>
На прошлой неделе было несколько случаев, когда все потребители конкретной группы потребителей продолжали умирать с ошибкой: < /p>

Код: Выделить всё

consumer poll timeout has expired. This means the time between subsequent calls to poll() was longer than the configured max.poll.interval.ms, which typically implies that the poll loop is spending too much time processing messages. You can address this either by increasing max.poll.interval.ms or by reducing the maximum size of batches returned in poll() with max.poll.records.

У меня 200 раздела и 100 потребителей, с агрегированным уровнем проглатывания 800 событий/сек. Время ручки для каждого события составляет примерно 60 мс. max.poll.interval.ms установлен на пять минут по умолчанию, а также Max.poll.records = 500 . Я записал метрическую Time_weeweed_poll_max и, по-видимому, составляет всего 70-80. Поэтому я точно знаю, что время обработки потребителей было меньше, чем max.poll.interval.ms . Так что еще вызвало бы эту ошибку? Кроме того, я заметил, что poll_idle_ratio_avg был 0 в течение периода, когда потребители были живы, что не имеет большого смысла для меня. Ошибка тайм -аута и группа входит в состояние перебалансировки, которое занимает вечно. В течение этого времени всех остальных потребителей выгнали из группы из -за временного интервалов Erro. ​​< /P>
Я вижу тысячи следующих сообщений в журналах: < /p>
[Consumer clientId==Consumer-2, groupId=EventsConsumer] Request joining group due to: group is already rebalancing
< /code>
Поэтому я подозреваю, что фактическая причина умирания всей группы - это чрезвычайно длинная фаза перебалансировки. Я не уверен, что это вызывает.

Подробнее здесь: https://stackoverflow.com/questions/740 ... ing-is-low