Файл журнала сервера Kafka. Рост более 500 ГБ за неделю. ⇐ Linux

[Anonymous]

Мы используем кластер Kafka с 6 активными узлами. Версия Kafka: 2.13-3.2.0. В системе всего около 10+ тем и всего около 50 потребителей (разбросанных по разным группам потребителей). Недавно мы обнаружили, что размер файла журнала сервера быстро растет и за 7 дней достигает размера более 500 ГБ. Приведенный ниже журнал неоднократно и часто печатается в журнале сервера.

Код: Выделить всё

**WARN: [LeaderEpochCache topic-my-topic-12] New epoch entry EpochEntry(epoch=53, startOffset=83104) caused truncation of conflicting entries ListBuffer(EpochEntry(epoch=54, startOffset=83103)). Cache now contains 16 entries. (kafka.server.epoch.LeaderEpochFileCache)**

Приведенный выше журнал печатается только для одной темы, и он печатается для многих разделов темы.
topic-my-topic-12,
topic-my-topic-18,
topic-my-topic-14,
Упомянутая тема имеет количество разделов 30 и количество репликаций 4.
Семь дней назад в центре обработки данных произошел сбой, и у нас возникла чтобы перезапустить все узлы Kafka обратно. В настоящее время все узлы активны и работают нормально. И за последние семь дней ни один потребитель не прочитал сообщение по этой теме. После сбоя мы не смогли запустить потребителя по вышеуказанной теме. Но был один продюсер, который отправлял сообщение по этой теме, но не очень часто. Мы остановили продюсера, однако журналы WARN продолжают появляться. Хранение сообщений Kafka настроено на 7 дней.
Любая поддержка по устранению неполадок приветствуется.

Подробнее здесь: https://stackoverflow.com/questions/788 ... -in-a-week