Kafka Connect с MirrorSourceConnector не будет реплицировать сообщения ⇐ JAVA

[Anonymous]

Я пытаюсь реплицировать сообщения с помощью MM2 MirrorSourceConnector, но сообщения не отображаются в целевой теме. У меня есть этот docker-compose, который включает в себя 2 отдельных Kafka.

Код: Выделить всё

version: "2.2"
services:
srcZookeeper:
image: confluentinc/cp-zookeeper:latest.arm64
restart: always
hostname: srcZookeeper
container_name: srcZookeeper
environment:
ZOOKEEPER_SERVER_ID: 1
ZOOKEEPER_CLIENT_PORT: "2181"
ZOOKEEPER_TICK_TIME: "2000"
ports:
- "2181:2181"
srcKafka1:
image: confluentinc/cp-kafka:latest.arm64
hostname: srcKafka1
container_name: srcKafka1
depends_on:
- srcZookeeper
ports:
- "9092:9092"
environment:
KAFKA_BROKER_ID: 1
KAFKA_ZOOKEEPER_CONNECT: "srcZookeeper:2181"
KAFKA_LISTENERS: INTERNAL://:29092,EXTERNAL_SAME_HOST://:9092
KAFKA_ADVERTISED_LISTENERS: INTERNAL://srcKafka1:29092,EXTERNAL_SAME_HOST://localhost:9092
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL_SAME_HOST:PLAINTEXT
KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL
KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
KAFKA_AUTO_CREATE_TOPICS_ENABLE: "true"
destZookeeper:
image: confluentinc/cp-zookeeper:latest.arm64
restart: always
hostname: destZookeeper
container_name: destZookeeper
environment:
ZOOKEEPER_SERVER_ID: 1
ZOOKEEPER_CLIENT_PORT: "2281"
ZOOKEEPER_TICK_TIME: "2000"
ports:
- "2281:2281"
destKafka1:
image: confluentinc/cp-kafka:latest.arm64
hostname: destKafka1
container_name: destKafka1
depends_on:
- destZookeeper
ports:
- "9095:9095"
environment:
KAFKA_BROKER_ID: 1
KAFKA_ZOOKEEPER_CONNECT: "destZookeeper:2281"
KAFKA_LISTENERS: INTERNAL://:29095,EXTERNAL_SAME_HOST://:9095
KAFKA_ADVERTISED_LISTENERS: INTERNAL://destKafka1:29095,EXTERNAL_SAME_HOST://localhost:9095
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL_SAME_HOST:PLAINTEXT
KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL
KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
KAFKA_AUTO_CREATE_TOPICS_ENABLE: "true"
rest-proxy:
image: confluentinc/cp-kafka-rest:4.0.0
container_name: rest-proxy
ports:
- "8082:8082"
depends_on:
- srcZookeeper
- srcKafka1
environment:
KAFKA_REST_HOST_NAME: localhost
KAFKA_REST_LISTENERS: http://0.0.0.0:8082
KAFKA_REST_BOOTSTRAP_SERVERS: srcKafka1:29092
KAFKA_REST_API_ENDPOINTS_ALLOWLIST: api.v3.clusters.list,api.v3.topics.list,api.v3.produce.produce-to-topic

kafka-connect:
image: confluentinc/cp-kafka-connect:latest
hostname: kafka-connect
container_name: kafka-connect
depends_on:
- destKafka1
ports:
- "8083:8083"
environment:
CONNECT_BOOTSTRAP_SERVERS: "destKafka1:29095"
CONNECT_REST_ADVERTISED_HOST_NAME: "kafka-connect"
CONNECT_REST_PORT: 8083
CONNECT_GROUP_ID: "quickstart"
CONNECT_CONFIG_STORAGE_TOPIC: "connect-configs"
CONNECT_OFFSET_STORAGE_TOPIC: "connect-offsets"
CONNECT_STATUS_STORAGE_TOPIC: "connect-status"
CONNECT_KEY_CONVERTER: "org.apache.kafka.connect.json.JsonConverter"
CONNECT_VALUE_CONVERTER: "org.apache.kafka.connect.json.JsonConverter"
CONNECT_CONFIG_STORAGE_REPLICATION_FACTOR: 1
CONNECT_OFFSET_STORAGE_REPLICATION_FACTOR: 1
CONNECT_STATUS_STORAGE_REPLICATION_FACTOR: 1
CONNECT_PLUGIN_PATH: "/usr/share/java,/usr/share/confluent-hub-components"

А затем я публикую соединитель MM2 через REST API на локальном хосте: 8083

Код: Выделить всё

{
"name": "MirrorMaker2",
"config": {
"connector.class": "org.apache.kafka.connect.mirror.MirrorSourceConnector",
"source.cluster.alias": "source",
"target.cluster.alias": "target",
"source.cluster.bootstrap.servers": "srcKafka1:29092",
"target.cluster.bootstrap.servers": "destKafka1:29095",
"topics": ".*",
"groups": ".*",
"emit.heartbeats.interval.seconds": "5",
"sync.topic.acls.enabled":  "false"
}
}

Затем отправьте сообщение в тему «test.topic» на srcKafka1, используя rest-proxy на локальном хосте: 8082. Сообщение существует в теме (мониторинг с помощью Offset Explorer), но оно не отображается в destKafka на 9095. (даже если тема создана вручную)
Я пытался просмотреть журналы на kafka- подключаем контейнер, но он не содержит ошибок. Серверы также доступны из контейнера с помощью nc.

Подробнее здесь: https://stackoverflow.com/questions/785 ... e-messages