Связь между Kafka и elasticsearch с использованием Python ⇐ Python

[Anonymous]

Я новичок в использовании Kafka и elasticsearch. Я пытался использовать Elastic search, но у меня возникла проблема. Я создал файл компоновки докера со всеми изображениями, необходимыми для создания среды, затем с помощью kafka я вложил данные в конкретную тему, а затем мне нужно взять данные о потребителях Kafka в систему pub/sub для отправка данных для загрузки в elasticsearch.
Все это я реализую с помощью Python. Я видел, что в порту и локальном хосте, когда вместо ip elasticsearch появляется ip elasticsearch, на странице появляется следующее предложение:
сервер Kibana еще не готов
потребительский Python что-то похожее на это, из которого я беру данные из темы:

Код: Выделить всё

from kafka import KafkaConsumer
# Import sys module
import sys

# Import json module to serialize data
import json

# Initialize consumer variable and set property for JSON decode
consumer = KafkaConsumer ('JSONtopic',bootstrap_servers = ['localhost:9092'],
value_deserializer=lambda m: json.loads(m.decode('utf-8')))
for message in consumer:
print("Consumer records:\n")
print(message)
print("\nReading from JSON data\n")
print("Name:",message[6]['name'])
print("Email:",message[6]['email'])
# Terminate the script
sys.exit()

Цель состоит в том, чтобы использовать elasticsearch для проведения анализа, поэтому мне нужно использовать его в качестве бэкэнда для визуализации данных в кибане. Было бы очень полезно также изучить руководство, чтобы понять, что мне следует делать, чтобы связать эту информацию.
(P.s. данные без проблем переходят из одной темы в другую, но проблема в том, чтобы взять эту информацию и вставить в резинку и иметь возможность визуализировать эту информацию)

Подробнее здесь: https://stackoverflow.com/questions/671 ... ing-python