Потребители Kafka не могут запуститься с ошибкой RequestTimedOutError в кластере MSK с несколькими темами [с использован ⇐ Python

[Anonymous]

Я использую кластер Kafka MSK с 3 узлами. У меня есть POD Kubernetes, который запускает 14 различных процессов, и каждый процесс создает экземпляр потребителя Kafka, используя AIOKafkaConsumer из библиотеки aiokafka. Все потребители имеют один и тот же идентификатор группы потребителей.
Проблема возникает, когда я присоединяю 14 тем к этой группе потребителей. Потребители не запускаются, и в журналах я вижу следующую ошибку:

Код: Выделить всё

Error sending JoinGroupRequest_v2 to node 3 [[Error 7] RequestTimedOutError] -- marking coordinator dead
Marking the coordinator dead (node 3) for group masked_group.

Однако, когда я уменьшаю количество тем, прикрепленных к группе потребителей, с 14 до 4, потребители начинают работать нормально.
Вопрос:
Что может быть причиной ошибки RequestTimedOutError при подключении нескольких тем?
Есть ли какие-либо параметры конфигурации Kafka или настройки MSK. Мне следует рассмотреть возможность настройки для более эффективной обработки нескольких тем с одной и той же группой потребителей при использовании AIOKafkaConsumer?
Будем очень признательны за любую информацию!

Подробнее здесь: https://stackoverflow.com/questions/791 ... -with-mult