Время Spark GC очень велико, что приводит к замедлению выполнения задачи. ⇐ JAVA

[Anonymous]

Я запускаю приложение Spark в кластере из 5 узлов. Каждый узел имеет конфигурацию: 16 ядер и 64 ГБ оперативной памяти.

В моем приложении есть 4 этапа. 3 этапа выполняются быстро на 4-м этапе, т.е. MapToPair занимает слишком много времени (почти 4 часа).

Ниже приведена статистика заданий для задания



Я также проверил журналы исполнителей, не нашел ни одного ошибки/исключения. Не могли бы вы подсказать мне, нужно ли внести какие-либо изменения в конфигурацию для улучшения производительности?

Подробнее здесь: https://stackoverflow.com/questions/473 ... ution-slow