Чтение файла spark-defaults.conf при использовании HTTP-сервера Spark REST с приложением Java ⇐ JAVA

[Anonymous]

Я использую сервер отдыха Spark для отправки заданий. При отправке приложения pyspark документы устанавливают для mainClass значение org.apache.spark.deploy.SparkSubmit, а затем передают скрипт Python в качестве appArgs. Это означает, что приложение запускается с помощью SparkSubmit, который по умолчанию считывает файл spark-defaults.conf. Например:

Код: Выделить всё

curl -X POST http://localhost:6066/v1/submissions/create --header "Content-Type:application/json;charset=UTF-8" --data '{
"action" : "CreateSubmissionRequest",
"appArgs" : [ "s3n:///pi.py" ],
"appResource" : "s3n:///pi.py",
"environmentVariables" : {
"SPARK_ENV_LOADED" : "1"
},
"mainClass" : "org.apache.spark.deploy.SparkSubmit",
"sparkProperties" : {
"spark.driver.supervise" : "false",
"spark.app.name" : "Simple App",
"spark.eventLog.enabled": "true",
"spark.submit.deployMode" : "cluster",
"spark.master" : "spark://localhost:6066"
}
}'

Я пытаюсь добиться такого же поведения с помощью искрового задания Java вместо Python. В большинстве примеров сам класс Job указывается как mainClass, что означает, что он не запускается с помощью SparkSubmit, и задание не имеет конфигурации из spark-defaults.conf.
Мне не удалось найти способ использовать SparkSubmit с файлом jar, поскольку нет возможности указать аргумент --class SparkSubmit.
Как указать --class при отправке с помощью API или, альтернативно, заставить класс загружать spark-defaults.conf другим способом?

Подробнее здесь: https://stackoverflow.com/questions/791 ... ava-applic