Kafka + как улучшить Выбор подписчиков от лидера ⇐ Linux

[Anonymous]

Как известно всем пользователям Kafka, в Kafka реплики извлекают данные от лидера, чтобы обеспечить согласованность и высокую доступность данных.
Процесс выборки:
Запрос на выборку: когда лидер добавляет новые данные в свой журнал, последователи отправляют лидеру запрос на выборку, указывая смещение, с которого им нужно начать выборку.
Fetch Response: Лидер отвечает, начиная запись. по указанному смещению. Затем подписчики добавляют эти записи в свои журналы2.
Пример сценария:

• Лидер добавляет данные: ведущая реплика раздела получает новые данные и добавляет их в свой журнал.
• Ведущая реплика извлекает данные: реплики последователей отправляют запросы на выборку лидеру, чтобы получить новые данные.
• Репликация данных: лидер отправляет новые данные последователям, которые затем добавляют их в свои журналы, гарантируя их синхронизацию. с лидером.

Проблемы с выборкой в ​​Kafka могут возникнуть по разным причинам. Вот некоторые распространенные основные причины:
Задержка и пропускная способность сети, перегрузка брокера, конфигурация потребителя, задержка репликации,
проблемы со сборкой мусора (GC), узкие места дискового ввода-вывода, недостаточность Потоки ввода-вывода
к сожалению, ни одна из вышеперечисленных проблем не является основной причиной того, что произошло в нашем производственном кластере Kafka (у нас есть кластер Kafka машины на ОС Linux)
Может ли кто-нибудь указать мне параметры Kafka, которые можно настроить для улучшения выборки между репликами?

Подробнее здесь: https://stackoverflow.com/questions/793 ... the-leader