Как добавить таблицы в разъем MySQL Source Kafka Debezium ⇐ MySql

[Anonymous]

Я использую AWS MSK Cluster , и я создал MySQL Debezium Connector , который работает на экземпляре EC2 и считывает из конкретной таблицы, и он работает нормально, но это может быть пример использования, когда пользователь не хочет добавлять таблицу изначально по нескольким причинам, и позже они хотят добавить ее. Итак, я сделал то же самое. < /P>

Код: Выделить всё

connector.class=io.debezium.connector.mysql.MySqlConnector
database.hostname=
database.port=3306
database.user=shell_readonly
database.password=
topic.prefix=shipping
database.include.list=shipping
table.include.list=shipping.orders,shipping.order_shipping
snapshot.mode=initial
include.schema.changes=true
schema.history.internal.kafka.topic=schemahistory.shipping
database.server.id=18505
database.history.store.only.monitored.tables.ddl=true
schema.history.internal.kafka.bootstrap.servers=
key.converter=io.confluent.connect.avro.AvroConverter
key.converter.schema.registry.url=http://localhost:8081
value.converter=io.confluent.connect.avro.AvroConverter
value.converter.schema.registry.url=http://localhost:8081
name=mysql-source-connector-2
schema.history.internal.producer.security.protocol=SASL_SSL
schema.history.internal.producer.sasl.mechanism=AWS_MSK_IAM
schema.history.internal.producer.sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required;
schema.history.internal.producer.sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler

topic.creation.enable=true
topic.creation.default.replication.factor=3
topic.creation.default.partitions=10

schema.history.internal.consumer.security.protocol=SASL_SSL
schema.history.internal.consumer.sasl.mechanism=AWS_MSK_IAM
schema.history.internal.consumer.sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required;
schema.history.internal.consumer.sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler

consumer.override.security.protocol=SASL_SSL
consumer.override.sasl.mechanism=AWS_MSK_IAM
consumer.override.sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required;
consumer.override.sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler
producer.override.sasl.mechanism=AWS_MSK_IAM
producer.override.security.protocol=SASL_SSL
producer.override.sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required;
producer.override.sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler

Первоначально я загрузил таблицу Order_shipping , и она работала нормально как с Snapshot, так и с CDC. Однако, когда я добавил таблицу Orders , разъем просто не выбирает эту таблицу. Имя, тогда он загрузит данные, но также сделает полную нагрузку для данных Order_shipping, потому что он создаст новые смещения в теме Kafka для этого конкретного разъема. Любая помощь будет оценена. Спасибо!

Подробнее здесь: https://stackoverflow.com/questions/796 ... -connector