Как сказать друиду пропускать записи, отличные от avro, во время приема Kafka ⇐ Apache

[Anonymous]

У меня есть реестр схем, состоящий из нескольких схем. Я кодирую полезную нагрузку, используя один из идентификаторов реестра схемы, и отправляю ее в Kafka. Эти данные затем передаются в Druid. Однако когда я отправляю данные, не относящиеся к Avro, в ту же тему Kafka, мой прием Druid завершается сбоем, что приводит к остановке дальнейшей обработки входящих записей Kafka.
Я использую Druid версии 0.23 и моя спецификация приема выглядит так:
"type": "kafka",
"spec": {
"ioConfig": {
"type": "kafka",
"consumerProperties": {
"bootstrap.servers": "localhost:19092"
},
"topic": "producerV4",
"inputFormat": {
"type": "avro_stream",
"binaryAsString": false,
"avroBytesDecoder": {
"type": "schema_registry",
"url": "http://localhost:7081"
}
},
"useEarliestOffset": true,
"taskCount": 1,
"replicas": 1
},
"tuningConfig": {
"type": "kafka",
"maxRowsInMemory": 500000,
"intermediatePersistPeriod": "PT10M",
"maxPendingPersists": 0,
"skipInvalidRows": true,
"reportParseExceptions": false
},
"dataSchema": {
"dataSource": "producerV4",
"timestampSpec": {
"column": "event_time",
"format": "auto"
},
"dimensionsSpec": {
"useSchemaDiscovery": true
},
"metricsSpec": [
{
"type": "count",
"name": "count"
}
],
"granularitySpec": {
"type": "uniform",
"segmentGranularity": "DAY",
"queryGranularity": "NONE",
"rollup": false
}
}
}
}


Подробнее здесь: https://stackoverflow.com/questions/793 ... -injestion