Чтение и выборка метаданных Apache Kafka занимает более 40 секунд. Почему?JAVA

Программисты JAVA общаются здесь
Ответить Пред. темаСлед. тема
Anonymous
 Чтение и выборка метаданных Apache Kafka занимает более 40 секунд. Почему?

Сообщение Anonymous »

У меня есть 3 кластера по 7 тем и 2 брокера, работающих в каждом кластере, также я настраиваю один раздел для каждой темы. Каждый кластер имеет только одного производителя и двух потребителей, которые подключаются к другому кластеру. Итак, у меня есть 2 потребителя на кластер * 3 кластера = 6 потребителей и 3 производителя. Кроме того, я настроил простую аутентификацию ACL "kafka.security.authorizer.AclAuthorizer"
Моя проблема в том, что в одном кластере я пытаюсь получить метаданные с помощью следующей строки
List
partitions = consumer.partitionsFor(topic);

занимает более 40 секунд, и я не знаю, почему код одинаков для обоих кластеров. Все делается из java API, даже если для брокеров и зоомагазинов не могу понять, почему только на одно дело уходит столько времени. Вот мои потребительские конфигурации. Любая помощь с тем, что скрыто?
props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, ip + ":" + KafkaConfiguration.KAFKA_PORT);
props.put(ConsumerConfig.GROUP_ID_CONFIG, KafkaConfiguration.CONSUMER_PRIVATE_GROUP_ID + "-" + i + "-" + KafkaConfiguration.KAFKA_HOST);
props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, ByteArrayDeserializer.class.getName());
props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
props.put(ConsumerConfig.FETCH_MIN_BYTES_CONFIG, 1);
props.put(ConsumerConfig.FETCH_MAX_WAIT_MS_CONFIG, 10);
props.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, 60000);
props.put(ConsumerConfig.MAX_POLL_INTERVAL_MS_CONFIG, "600000");
props.put(ConsumerConfig.REQUEST_TIMEOUT_MS_CONFIG, "1000");
props.put(ConsumerConfig.METADATA_MAX_AGE_CONFIG, "1000");
props.put(ConsumerConfig.RECONNECT_BACKOFF_MS_CONFIG, "500");
props.put(ConsumerConfig.RECONNECT_BACKOFF_MAX_MS_CONFIG, "8000");
props.put(ConsumerConfig.RETRY_BACKOFF_MS_CONFIG, "500");
props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");
props.put(CommonClientConfigs.SECURITY_PROTOCOL_CONFIG, "SASL_PLAINTEXT");
props.put(SaslConfigs.SASL_MECHANISM, "PLAIN");
props.put(SaslConfigs.SASL_JAAS_CONFIG, "org.apache.kafka.common.security.plain.PlainLoginModule required username=\"" + "consumer" + "-" + position + "-" + current_ip + "\" password=\"consumer-secret\";");


Подробнее здесь: https://stackoverflow.com/questions/792 ... -fetch-why
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение
  • Чтение и выборка метаданных Apache Kafka занимает более 40 секунд. Почему?
    Anonymous » » в форуме JAVA
    0 Ответы
    12 Просмотры
    Последнее сообщение Anonymous
  • Чтение и выборка метаданных Apache Kafka занимает более 40 секунд. Почему?
    Anonymous » » в форуме JAVA
    0 Ответы
    21 Просмотры
    Последнее сообщение Anonymous
  • Чтение и выборка метаданных Apache Kafka занимает более 40 секунд. Почему?
    Anonymous » » в форуме JAVA
    0 Ответы
    10 Просмотры
    Последнее сообщение Anonymous
  • Чтение и выборка метаданных Apache Kafka занимает более 40 секунд. Почему?
    Anonymous » » в форуме JAVA
    0 Ответы
    12 Просмотры
    Последнее сообщение Anonymous
  • Чтение и выборка метаданных Apache Kafka занимает более 40 секунд. Почему?
    Anonymous » » в форуме JAVA
    0 Ответы
    19 Просмотры
    Последнее сообщение Anonymous

Вернуться в «JAVA»