Доступны ли TaskMetrics через агрегированные метрики stageCompleted SparkListener.onStageCompleted() для всех задач на э ⇐ JAVA

[Anonymous]

Я пишу собственный SparkListener для отправки показателей в сторонние системы. В конце этапа я хотел бы отправить агрегированные показатели всех задач на этом этапе.
SparkListener имеет метод onStageCompleted(), который я могу переопределить для получения TaskMetrics как согласно фрагменту кода ниже:

Код: Выделить всё

 @Override
public void onStageCompleted(SparkListenerStageCompleted stageCompleted) {
TaskMetrics taskMetrics = stageCompleted.stageInfo().taskMetrics();
}

Вопрос:
Что представляют собой метрики из объектов TaskMetrics выше? Это показатели для самой последней задачи на этапе или, возможно, совокупные показатели для всех задач на этапе?
Документация версии 3.2.3, которую я использую: https:// spark.apache.org/docs/3.2.3/api/java/index.html?org/apache/spark/scheduler/SparkListener.html
Я проверил документацию, но не смог не нашел никакой информации по этой теме.

Подробнее здесь: https://stackoverflow.com/questions/778 ... mpleted-ag