Python Kafka Consumer Group ID идентификатор идентификатор ⇐ Python

[Anonymous]

afaik, < /p>

Концепция разделов и (потребительских) групп в Кафке была введена для реализации параллелизма. Я работаю с Кафкой через Python. У меня есть определенная тема, которая имеет (скажем) 2 раздела. Это означает, что если я начну группу потребителей с 2 ​​потребителями в ней, они будут сопоставлены (подписаны) на разные разделы. < /P>

Но, используя библиотеку Kafka < /code> в Python, я наткнулся на странную проблему. Я начал 2 потребителя с по существу одних и тех же групповых иду и запустил потоки, чтобы они могли потреблять сообщения. Это кажется смешным для меня, и даже концептуально неверно. Есть ли в любом случае, я могу отобразить потребителей с определенными (различными) разделами вручную (если они не отображаются с различными разделами автоматически)? < /P>

Вот код: < /p>

Код: Выделить всё

from kafka import KafkaConsumer
import thread

def con1(consumer):
for msg in consumer:
print msg

consumer1 = KafkaConsumer('k-test', group_id='grp1', bootstrap_servers=['10.50.23.120:9092'])
consumer2 = KafkaConsumer('k-test', group_id='grp1', bootstrap_servers=['10.50.23.120:9092'])

thread.start_new_thread(con1, (consumer1,))
thread.start_new_thread(con1, (consumer2,))
< /code>

Вот вывод для некоторых сообщений, которые я создал с помощью Kafka-console-producer: < /p>

ConsumerRecord(topic=u'k-test', partition=0, offset=47, timestamp=None, timestamp_type=None, key=None, value='polki')
ConsumerRecord(topic=u'k-test', partition=0, offset=47, timestamp=None, timestamp_type=None, key=None, value='polki')
ConsumerRecord(topic=u'k-test', partition=0, offset=48, timestamp=None, timestamp_type=None, key=None, value='qwewrg')
ConsumerRecord(topic=u'k-test', partition=0, offset=48, timestamp=None, timestamp_type=None, key=None, value='qwewrg')
ConsumerRecord(topic=u'k-test', partition=0, offset=49, timestamp=None, timestamp_type=None, key=None, value='shgjas')
ConsumerRecord(topic=u'k-test', partition=0, offset=49, timestamp=None, timestamp_type=None, key=None, value='shgjas')
< /code>

, в то время как ожидаемый был по одному из каждого. Кстати, эта тема k-test 

имеет 2 раздела.

Подробнее здесь: https://stackoverflow.com/questions/383 ... p-id-issue