Производитель Kafka не может отправлять сообщения с исключением NOT_LEADER_FOR_PARTITION ⇐ JAVA

[Anonymous]

Мы используем Spring-cloud-stream-binder-kafka (3.0.3.RELEASE) для отправки сообщений в наш кластер Kafka (2.4.1). Время от времени один из потоков-производителей получает исключения NOT_LEADER_FOR_PARTITION и даже превышает количество повторных попыток (в настоящее время установлено значение 12, активируется пружинным повторением зависимостей). Мы ограничили повторные попытки, поскольку отправляем около 1 000 сообщений в секунду (на экземпляр производителя) и беспокоимся о размере буфера.
Таким образом, мы регулярно теряем сообщения, что плохо для последующих потребителей. , потому что мы не можем просто воспроизвести входящий трафик.

Сообщение об ошибке:

Код: Выделить всё

[Producer clientId=producer-5] Received invalid metadata error in produce request on partition topic-21 due to org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition.. Going to request metadata update now
[Producer clientId=producer-5] Got error produce response with correlation id 974706 on topic-partition topic-21, retrying (8 attempts left). Error: NOT_LEADER_FOR_PARTITION
[Producer clientId=producer-5] Got error produce response with correlation id 974707 on topic-partition topic-21, retrying (1 attempts left). Error: NOT_LEADER_FOR_PARTITION

Известен ли способ избежать этого?
Должны ли мы вернуться к значению по умолчанию для количества повторных попыток MAX_INT?
Почему он продолжает отправлять сообщения одному и тому же брокеру , хотя он ответил NOT_LEADER_FOR_PARTITION?

Любые подсказки приветствуются.

РЕДАКТИРОВАТЬ: Мы только что заметили, что Примерно в это же время увеличивается показатель брокера kafka_network_requestmetrics_responsequeuetimems, но максимум, который мы видели, составляет около 2,5 секунд

Подробнее здесь: https://stackoverflow.com/questions/617 ... -exception