Проблема при переназначении Kafka Consumer на другой разделPython

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 Проблема при переназначении Kafka Consumer на другой раздел

Сообщение Anonymous »


Я пытаюсь получить максимальное значение в теме Kafka, которая имеет несколько разделов. Для этого я беру значение максимального смещения каждого раздела и оставляю самое высокое. Если я запускаю следующий код только после выбора одного раздела, все работает нормально:

c.assign([tp_offset]) c.seek(tp_offset) сообщение = c.poll(1.0) номер_блока = json.loads(msg.value().decode('utf-8'))["номер_блока"] печать (номер_блока) Однако, когда я пытаюсь запустить его в цикле для прохождения всех разделов, я получаю следующую ошибку во второй раз, когда он выполняется:

cimpl.KafkaException: KafkaError{code=_STATE,val=-172,str="Не удалось найти смещение 29: локально: ошибочное состояние"

Я думаю, что это связано с перемещением потребителя в другой раздел, но я не совсем уверен, как это исправить, любая помощь будет приветствоваться. Заранее большое спасибо :)
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в «Python»