Confluent Kafka в Python: использование потребительского набора записей ⇐ Python
-
Anonymous
Confluent Kafka в Python: использование потребительского набора записей
Я начал изучать слитный kafka(python). Есть 1 производитель, 1 тема, 1 раздел и 1 потребитель (простая настройка). Мое требование состоит в том, что я хочу получать данные коллективно. Я читал, что использование poll(some_time) будет ждать необходимое время и извлекать записи в пакетах/списках. Я думал, что это будет простой итерационный процесс, что-то вроде:
msgs = Consumer.poll(1000) для сообщения в сообщениях: сделай какое-нибудь действие..........
Проблема в том, что я не могу перебирать этот объект «msgs» — я просмотрел документацию, чтобы понять, что опрос возвращает одно сообщение — так нет ли способа получить список сообщений? (Обходным решением может быть частая выборка в подмножества этого требовали времени, а затем коллективно обрабатывали данные - но я надеялся, что есть другой способ). Процесс итерации poll() отличается от способа kafka-python.
Я начал изучать слитный kafka(python). Есть 1 производитель, 1 тема, 1 раздел и 1 потребитель (простая настройка). Мое требование состоит в том, что я хочу получать данные коллективно. Я читал, что использование poll(some_time) будет ждать необходимое время и извлекать записи в пакетах/списках. Я думал, что это будет простой итерационный процесс, что-то вроде:
msgs = Consumer.poll(1000) для сообщения в сообщениях: сделай какое-нибудь действие..........
Проблема в том, что я не могу перебирать этот объект «msgs» — я просмотрел документацию, чтобы понять, что опрос возвращает одно сообщение — так нет ли способа получить список сообщений? (Обходным решением может быть частая выборка в подмножества этого требовали времени, а затем коллективно обрабатывали данные - но я надеялся, что есть другой способ). Процесс итерации poll() отличается от способа kafka-python.
