Сообщения, отправленные в «плохую» тему в Snowplow Enricher (GCP Pub/Sub) – нарушение формата полезных данных коллектора ⇐ Python

[Anonymous]

Я публикую специальное сообщение из приложения Python в теме Google Cloud Pub/Sub, которое затем используется приложением Snowplow Enrich PubSub. Однако все сообщения отправляются в «плохую» тему.

Код: Выделить всё

publisher = pubsub_v1.PublisherClient()
topic_path = publisher.topic_path(PROJECT_ID, TOPIC_ID)

message_data = {
"schema": "iglu:com.snowplowanalytics.snowplow/payload_data/jsonschema/1-0-4",
"data": {
"field1": "",
"field2": ""
}
}
message_json = json.dumps(message_data)
future = publisher.publish(topic_path, data=message_json)
print(f"Published message ID: {future.result()}")

Что я также пробовал:

• Отправка случайной строки «тест»
• Отправка сообщения JSON.
• Отправка сериализованного сообщения с помощью Thrift

resolver.conf :

Код: Выделить всё

{
"schema": "iglu:com.snowplowanalytics.iglu/resolver-config/jsonschema/1-0-3",
"data": {
"cacheSize": 500,
"cacheTtl": 600,
"repositories": [
{
"name": "Iglu Central",
"priority": 0,
"vendorPrefixes": ["com.snowplowanalytics"],
"connection": {
"http": {
"uri": "http://iglucentral.com"
}
}
}
]
}
}

enricher.conf:

Код: Выделить всё

{
"license": {
"accept": true
}

"input": {
"type": "PubSub"
"subscription": "projects/
/subscriptions/"
}

"output": {
"good": {
"type": "PubSub"
"topic": "projects//topics/topic"
}

"bad": {
"type": "PubSub"
"topic": "projects//topics/topic-rejected"
}
}
}

Вот сообщение об ошибке, которое я вижу:

Код: Выделить всё

{
"schema": "iglu:com.snowplowanalytics.snowplow.badrows/collector_payload_format_violation/jsonschema/1-0-0",
"data": {
"processor": {
"artifact": "snowplow-enrich-pubsub",
"version": "5.1.2"
},
"failure": {
"timestamp": "2024-10-21T12:34:44.985286Z",
"loader": "thrift",
"message": {
"error": "error deserializing raw event: Unrecognized type -79"
}
},
"payload": "eyJz...."
}
}

Существует ли какая-либо документация или руководство по точному формату, который ожидает приложение Snowplow Enrich PubSub? Как правильно форматировать или сериализовать сообщения, чтобы они правильно обрабатывались обогатителем?
Мы будем очень признательны за любые идеи или примеры правильной структуры полезных данных.
Спасибо!

Подробнее здесь: https://stackoverflow.com/questions/791 ... ector-payl