Ошибка фиксации смещения Kafka Consumer после обработки — частая проблема с перебалансировкой ⇐ JAVA

[Anonymous]

Вопрос:
Я работаю с потребителем Kafka, настроенным следующим образом:

• Код: Выделить всё

  mx_max_poll_interval

  : 3600000 мс (1 час)

• Код: Выделить всё

  mx_max_poll_records

  : 500

• Код: Выделить всё

  mx_max_poll_records_dataset

  : 500

• Код: Выделить всё

  mx_recon_max_concurrency

  : 8

• Код: Выделить всё

  mx_recon_max_concurrency_dataset

  : 8

• Код: Выделить всё

  mx_session_timeout_ms

  : 60000 мс (1 минута)

Обработка потребительского пакета занимает около 2 минут, и во время этого я вижу следующие журналы: ребалансировка:
Таким образом, потребительский поток начинается в 22:52:56.847 и заканчивается в 22:52:56.896
Перед этим регистратором: «Сообщения с данными синхронизации устройства успешно обработаны и подтверждены» имеют подтверждение
``java
ack.acknowledge();
log.info("Устройство успешно обработано и подтверждено синхронизировать сообщения с данными."); // Регистрируем успешное подтверждение

Код: Выделить всё

```plaintext
22:52:56.896 [Consumer clientId=consumer-recon-data-set-unit-sync-data-60, groupId=recon-data-set-unit-sync-data] Failing OffsetCommit request since the consumer is not part of an active group
22:52:56.896 Successfully processed and acknowledged unit sync data messages.
22:52:56.962 [Consumer clientId=consumer-recon-data-set-unit-sync-data-60, groupId=recon-data-set-unit-sync-data] Failing OffsetCommit request since the consumer is not part of an active group
22:52:56.964 [Consumer clientId=consumer-recon-data-set-unit-sync-data-60, groupId=recon-data-set-unit-sync-data] Rebalance failed.
22:52:56.964 [Consumer clientId=consumer-recon-data-set-unit-sync-data-60, groupId=recon-data-set-unit-sync-data] (Re-)joining group

Похоже, что даже после успешной обработки и подтверждения пакета потребитель не может зафиксировать смещения, поскольку не является частью активной группы. Это приводит к повторной обработке партии после повторной балансировки. Вот что я пробовал и наблюдал:

• Увеличен интервал mx_max_poll_interval до 1 часа, чтобы гарантировать соблюдение времени обработки.

• Код: Выделить всё

  mx_session_timeout_msДля 

  установлено значение 60 000 мс[/b]. Может ли это быть причиной выхода потребителя из группы из-за тайм-аута контрольного сигнала?
• Проверено на частое членство в группе потребителей меняется, но с точки зрения масштабирования, похоже, не происходит ничего необычного.

Вопросы:

• Может ли mx_session_timeout_ms вызывает эти перебалансировки, и если да, то следует ли мне увеличить его до 90 000 или 120 000 мс?
• Существуют ли другие потенциальные конфигурации или факторы ресурсов (например, нагрузка брокера или стабильность сети), что может привести к потере потребителем членства в группе?
• Как я могу гарантировать, что моя пакетная обработка не приведет к повторной обработке, и какие корректировки могут быть внесены помочь стабилизировать группу потребителей?

Будем очень признательны за любые идеи по устранению неполадок, связанных с ошибками компенсационных коммитов и проблемами ребалансировки!

Подробнее здесь: https://stackoverflow.com/questions/791 ... ance-issue