Использование памяти Apache Nifi продолжает расти и сбои после кластеризации - GC не освобождает старый генерал ⇐ JAVA

[Anonymous]

Я запускаю настройку Apache Nifi 2.5.0 на машине с 40 ГБ оперативной памяти. Первоначально я использовал однозначную настройку без проблем. Но после того, как я добавил больше узлов (2-узловой, а затем кластер с 3 узлами), использование памяти начало постоянно увеличиваться с течением времени, в конечном итоге приводило к проблеме замедления NIFI с пользовательским интерфейсом и, наконец, сбои и перезагружается. < /P>
Даже если я вижу журналы GC, как: < /p>

Код: Выделить всё

[info][gc,start] GC(102) Pause Young (Normal)
< /code>
Использование памяти, показанное статистикой Docker, Prometheus и Grafana, не уменьшается - оно продолжает расти до тех пор, пока не достигнет максимальной кучи и сбоев.NIFI_JVM_HEAP_INIT: 8g
NIFI_JVM_HEAP_MAX: 16g
< /code>
Общее использование памяти контейнеров продолжает расти до 24 ГБ+ без капель с течением времени. < /p>

[*] настроенные варианты JVM, но это не помогло: < /li>
< /ul>
java.arg.2=-Xms16g
java.arg.3=-Xmx16g

java.arg.7=-XX:MaxMetaspaceSize=512m
java.arg.8=-XX:MaxDirectMemorySize=2g

java.arg.9=-XX:+UseG1GC
java.arg.10=-XX:MaxGCPauseMillis=200

java.arg.12=-Xlog:gc*,gc+age=trace:file=/opt/nifi/nifi-current/logs/gcdetals.log:time,uptime,level,tags:filecount=5,filesize=10M
java.arg.13=-XX:+HeapDumpOnOutOfMemoryError
java.arg.14=-XX:HeapDumpPath=/opt/nifi/nifi-current/logs/heapdumps.log

java.arg.15=-XX:InitiatingHeapOccupancyPercent=30
java.arg.16=-XX:+ExplicitGCInvokesConcurrent
java.arg.17=-XX:+ParallelRefProcEnabled
java.arg.18=-XX:MaxTenuringThreshold=8

обновлять NIFI с 2,0,0 до 2.5.0
Снижение кучи с 20 г/24 г до 8 г/16 г, чтобы наблюдать поведение, но память все еще растет и не падает. обратное давление.>

Подробнее здесь: https://stackoverflow.com/questions/797 ... gc-not-fre