Я пытаюсь передать все изменения таблицы habse в тему kafka с помощью прокси-сервера Apache HBase™ Kafka. Я выполняю шаги, упомянутые в этом репозитории.
У меня есть автономная база данных hbase, работающая на том же сервере Centos с kafka. HBASE_CLASSPATH в файле hbase-env.sh настроен так, чтобы указывать на загрузку соединителей по зеркальной ссылке hbase.
Репликация включена в hbase-site.xml, а репликация таблицы включена в оболочке hbase
после запуска kafkaproxy с помощью bin/hbase-connectors-daemon.sh запустите kafkaproxy -a -e -p kafka_endpoint -b localhost:9092 одноранговый узел с именем "kafka_endpoint" show at Вкладка «Репликации» с примечанием внизу
"Если задержка репликации НЕИЗВЕСТНА, это означает, что эта walGroup еще не начала репликацию и может быть отключена".
после вставки данных в таблицу в журналах отображается предупреждение ниже
2024-11-02T19:44:07,703 INFO [MemStoreFlusher.0] regionserver.HRegion: Flushing 3a1a23e87b200f50e2d5ba9ae48b30ba 1/1 column families, dataSize=88 B heapSize=496 B
2024-11-02T19:44:07,710 INFO [MemStoreFlusher.0] regionserver.DefaultStoreFlusher: Flushed memstore data size=88 B at sequenceid=185 (bloomFilter=true), to=file:/root/hbase/tmp/hbase/data/default/test_kafka_table/3a1a23e87b200f50e2d5ba9ae48b30ba/.tmp/random_cf/1f10c4cfd5f34d1a9f836df9020b867b
2024-11-02T19:44:07,713 INFO [MemStoreFlusher.0] regionserver.HStore: Added file:/root/hbase/tmp/hbase/data/default/test_kafka_table/3a1a23e87b200f50e2d5ba9ae48b30ba/random_cf/1f10c4cfd5f34d1a9f836df9020b867b, entries=2, sequenceid=185, filesize=4.9 K
2024-11-02T19:44:07,714 INFO [MemStoreFlusher.0] regionserver.HRegion: Finished flush of dataSize ~88 B/88, heapSize ~480 B/480, currentSize=0 B/0 for 3a1a23e87b200f50e2d5ba9ae48b30ba in 11ms, sequenceid=185, compaction requested=false
2024-11-02T19:44:22,192 INFO [LruBlockCacheStatsExecutor] hfile.LruBlockCache: totalSize=3.14 GB, usedSize=2.37 MB, freeSize=3.14 GB, max=3.14 GB, blockCount=5, accesses=60, hits=43, hitRatio=71.67%, , cachingAccesses=48, cachingHits=41, cachingHitsRatio=85.42%, evictions=389, evicted=0, evictedPerRun=0.0
2024-11-02T19:44:23,459 INFO [emaradevenv:16020Replication Statistics #0] regionserver.Replication: Global stats: WAL Edits Buffer Used=458B, Limit=268435456B
Normal source for cluster kafka_endpoint: Total replicated edits: 0, current progress:
walGroup [emaradevenv%2C16020%2C1730565562173]: currently replicating from: file:/root/hbase/tmp/hbase/WALs/emaradevenv,16020,1730565562173/emaradevenv%2C16020%2C1730565562173.1730565566468 at position: 1210
2024-11-02T19:44:27,653 WARN [RS:0;emaradevenv:16020.replicationSource.shipperemaradevenv%2C16020%2C1730565562173,kafka_endpoint] regionserver.ReplicationSinkManager: No sinks available at peer. Will not be able to replicate
2024-11-02T19:45:55,653 WARN [RS:0;emaradevenv:16020.replicationSource.shipperemaradevenv%2C16020%2C1730565562173,kafka_endpoint] regionserver.ReplicationSinkManager: No sinks available at peer. Will not be able to replicate
2024-11-02T19:47:24,655 WARN [RS:0;emaradevenv:16020.replicationSource.shipperemaradevenv%2C16020%2C1730565562173,kafka_endpoint] regionserver.ReplicationSinkManager: No sinks available at peer. Will not be able to replicate
2024-11-02T19:48:54,656 WARN [RS:0;emaradevenv:16020.replicationSource.shipperemaradevenv%2C16020%2C1730565562173,kafka_endpoint] regionserver.ReplicationSinkManager: No sinks available at peer. Will not be able to replicate
2024-11-02T19:49:22,192 INFO [LruBlockCacheStatsExecutor] hfile.LruBlockCache: totalSize=3.14 GB, usedSize=2.37 MB, freeSize=3.14 GB, max=3.14 GB, blockCount=5, accesses=62, hits=45, hitRatio=72.58%, , cachingAccesses=50, cachingHits=43, cachingHitsRatio=86.00%, evictions=419, evicted=0, evictedPerRun=0.0
2024-11-02T19:49:23,459 INFO [emaradevenv:16020Replication Statistics #0] regionserver.Replication: Global stats: WAL Edits Buffer Used=458B, Limit=268435456B
Normal source for cluster kafka_endpoint: Total replicated edits: 0, current progress:
walGroup [emaradevenv%2C16020%2C1730565562173]: currently replicating from: file:/root/hbase/tmp/hbase/WALs/emaradevenv,16020,1730565562173/emaradevenv%2C16020%2C1730565562173.1730565566468 at position: 1210
Что-нибудь, что мне здесь не хватает? существуют ли какие-либо дополнительные конфигурации WAL или hbase должен быть полностью распределенным?
Я пытался установить псевдораспределенный режим hbase, но проблема не решена
Я пытаюсь передать все изменения таблицы habse в тему kafka с помощью прокси-сервера Apache HBase™ Kafka. Я выполняю шаги, упомянутые в этом репозитории. У меня есть автономная база данных hbase, работающая на том же сервере Centos с kafka. HBASE_CLASSPATH в файле hbase-env.sh настроен так, чтобы указывать на загрузку соединителей по зеркальной ссылке hbase. Репликация включена в hbase-site.xml, а репликация таблицы включена в оболочке hbase [code] hbase.replication true
[/code] kafka-route-rules.xml настроен на маршрутизацию всех мутаций в тему kafka [code]
[/code] после запуска kafkaproxy с помощью bin/hbase-connectors-daemon.sh запустите kafkaproxy -a -e -p kafka_endpoint -b localhost:9092 одноранговый узел с именем "kafka_endpoint" show at Вкладка «Репликации» с примечанием внизу "Если задержка репликации НЕИЗВЕСТНА, это означает, что эта walGroup еще не начала репликацию и может быть отключена". после вставки данных в таблицу в журналах отображается предупреждение ниже [code]2024-11-02T19:44:07,703 INFO [MemStoreFlusher.0] regionserver.HRegion: Flushing 3a1a23e87b200f50e2d5ba9ae48b30ba 1/1 column families, dataSize=88 B heapSize=496 B 2024-11-02T19:44:07,710 INFO [MemStoreFlusher.0] regionserver.DefaultStoreFlusher: Flushed memstore data size=88 B at sequenceid=185 (bloomFilter=true), to=file:/root/hbase/tmp/hbase/data/default/test_kafka_table/3a1a23e87b200f50e2d5ba9ae48b30ba/.tmp/random_cf/1f10c4cfd5f34d1a9f836df9020b867b 2024-11-02T19:44:07,713 INFO [MemStoreFlusher.0] regionserver.HStore: Added file:/root/hbase/tmp/hbase/data/default/test_kafka_table/3a1a23e87b200f50e2d5ba9ae48b30ba/random_cf/1f10c4cfd5f34d1a9f836df9020b867b, entries=2, sequenceid=185, filesize=4.9 K 2024-11-02T19:44:07,714 INFO [MemStoreFlusher.0] regionserver.HRegion: Finished flush of dataSize ~88 B/88, heapSize ~480 B/480, currentSize=0 B/0 for 3a1a23e87b200f50e2d5ba9ae48b30ba in 11ms, sequenceid=185, compaction requested=false 2024-11-02T19:44:22,192 INFO [LruBlockCacheStatsExecutor] hfile.LruBlockCache: totalSize=3.14 GB, usedSize=2.37 MB, freeSize=3.14 GB, max=3.14 GB, blockCount=5, accesses=60, hits=43, hitRatio=71.67%, , cachingAccesses=48, cachingHits=41, cachingHitsRatio=85.42%, evictions=389, evicted=0, evictedPerRun=0.0 2024-11-02T19:44:23,459 INFO [emaradevenv:16020Replication Statistics #0] regionserver.Replication: Global stats: WAL Edits Buffer Used=458B, Limit=268435456B Normal source for cluster kafka_endpoint: Total replicated edits: 0, current progress: walGroup [emaradevenv%2C16020%2C1730565562173]: currently replicating from: file:/root/hbase/tmp/hbase/WALs/emaradevenv,16020,1730565562173/emaradevenv%2C16020%2C1730565562173.1730565566468 at position: 1210
2024-11-02T19:44:27,653 WARN [RS:0;emaradevenv:16020.replicationSource.shipperemaradevenv%2C16020%2C1730565562173,kafka_endpoint] regionserver.ReplicationSinkManager: No sinks available at peer. Will not be able to replicate 2024-11-02T19:45:55,653 WARN [RS:0;emaradevenv:16020.replicationSource.shipperemaradevenv%2C16020%2C1730565562173,kafka_endpoint] regionserver.ReplicationSinkManager: No sinks available at peer. Will not be able to replicate 2024-11-02T19:47:24,655 WARN [RS:0;emaradevenv:16020.replicationSource.shipperemaradevenv%2C16020%2C1730565562173,kafka_endpoint] regionserver.ReplicationSinkManager: No sinks available at peer. Will not be able to replicate 2024-11-02T19:48:54,656 WARN [RS:0;emaradevenv:16020.replicationSource.shipperemaradevenv%2C16020%2C1730565562173,kafka_endpoint] regionserver.ReplicationSinkManager: No sinks available at peer. Will not be able to replicate 2024-11-02T19:49:22,192 INFO [LruBlockCacheStatsExecutor] hfile.LruBlockCache: totalSize=3.14 GB, usedSize=2.37 MB, freeSize=3.14 GB, max=3.14 GB, blockCount=5, accesses=62, hits=45, hitRatio=72.58%, , cachingAccesses=50, cachingHits=43, cachingHitsRatio=86.00%, evictions=419, evicted=0, evictedPerRun=0.0 2024-11-02T19:49:23,459 INFO [emaradevenv:16020Replication Statistics #0] regionserver.Replication: Global stats: WAL Edits Buffer Used=458B, Limit=268435456B Normal source for cluster kafka_endpoint: Total replicated edits: 0, current progress: walGroup [emaradevenv%2C16020%2C1730565562173]: currently replicating from: file:/root/hbase/tmp/hbase/WALs/emaradevenv,16020,1730565562173/emaradevenv%2C16020%2C1730565562173.1730565566468 at position: 1210 [/code] Что-нибудь, что мне здесь не хватает? существуют ли какие-либо дополнительные конфигурации WAL или hbase должен быть полностью распределенным? Я пытался установить псевдораспределенный режим hbase, но проблема не решена