/metrics Конечная точка Hazelcast не возвращает никаких данных ⇐ JAVA

[Anonymous]

Я столкнулся с проблемой, из-за которой конечная точка метрик Hazelcast (/metrics) не возвращает никаких данных в одном из моих кластеров Google Kubernetes Engine (GKE), хотя в других она работает правильно. Единственная разница между ними — это члены кластера. В рабочем кластере 3 участника, а в нерабочем — 15 участников.

Версия Hazelcast — 3.7.4


Версия jmx — 0.2.0

Ожидаемое поведение:
В моей работе кластеров, я могу получить метрики с помощью следующей команды:

Код: Выделить всё

curl http://127.0.0.1:1099/metrics

Эта команда возвращает ожидаемые данные метрик, например:

Код: Выделить всё

# HELP jmx_config_reload_success_total Number of times configuration have successfully been reloaded.
# TYPE jmx_config_reload_success_total counter
jmx_config_reload_success_total 0.0
...

Наблюдаемое поведение:
В нерабочем кластере выполнение одной и той же команды зависает на неопределенный срок:

Код: Выделить всё

curl http://127.0.0.1:1099/metrics

Ниже приведен файл конфигурации

Код: Выделить всё

#see: https://github.com/prometheus/jmx_exporter#configuration
startDelaySeconds: 0
ssl: false
lowercaseOutputName: true
lowercaseOutputLabelNames: true
rules:
# see "MBean Naming for Hazelcast Data Structures" here: https://docs.hazelcast.org/docs/latest-dev/manual/html-single/index.html#monitoring-with-jmx
# example input: "com.hazelcastcompletedTaskCount"
- pattern: 'com\.hazelcast(.*):(.*)'
labels:
"hz_instance": "$1"
"hz_name": "$2"
"hz_type": "$3"
name: "hazelcast_$4"
# Fallback to the default pattern for anything not matching above
- pattern: '.*'

Предпринятые шаги:

• Подтверждено, что экземпляр Hazelcast запущен и доступен через REST API через порт 5701. Curl -vvv 0.0.0.0:5701/hazelcast/rest/cluster
• Сравнение конфигураций
  рабочих и нерабочих кластеров на наличие расхождений.
• Проверил параметры JVM, чтобы убедиться, что агент JMX Prometheus правильно настроен для прослушивания порта 1099, и проверил, что для hazelcast.jmx установлено значение true

Код: Выделить всё

cat /etc/manh/hazelcast_config.xml


http://localhost:8080/mancenter

true
true


60


60


60

Код: Выделить всё

ps aux | grep java
root           1  100 11.0 6891628 3622284 ?     Ssl  Oct05 2298:02 java -javaagent:/data/hazelcast/jmx_prometheus_javaagent-0.2.0.jar=1099:/etc/manh/hazelcast_exporter_config.yml -Xmx3072m -Xss1024k -Dlogging.level.com.manh.cp=INFO -Dlogging.level.com.netflix=WARN -Dlogging.level.com.hazelcast.nio.tcp=WARN -XX:+DoEscapeAnalysis -XX:+UseG1GC -XX:MaxGCPauseMillis=2000 -verbose:gc -Xloggc:/mnt/logs/hazelcastserver_G1-gc.log -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/mnt/logs/hazelcastserver_oom.hprof -XX:+DisableExplicitGC -Djavax.net.ssl.trustStore=/mnt/truststore.jks -Deureka.client.registerWithEureka=true -jar /main.jar

Какие дополнительные шаги по устранению неполадок или рекомендации могут помочь в дальнейшей диагностике этой проблемы?
Изменить: я обновил кучу до 6 ГБ, обновил версию JMX до 0.20.0
Все равно не работает

Подробнее здесь: https://stackoverflow.com/questions/790 ... n-any-data