Spark Scala: java.lang.NoSuchFieldError: JAVA_9 в org.apache.spark.storage.StorageUtils$.(StorageUtils.scala:207) ⇐ JAVA

[Anonymous]

У меня есть приложение Spark Scala, оно использует приведенные ниже версии (вставлен только раздел pom.xml) перечисленных зависимостей и свойств.
Зависимости:

Код: Выделить всё

  org.apache.spark
spark-hive_2.12
3.3.2

org.apache.spark
spark-core_2.12
3.3.2


org.scala-lang
scala-reflect
2.12.10
compile



org.scala-lang
scala-compiler
2.12.10
compile

Свойства:

Код: Выделить всё

2.12
3.2.18
2.12.18

3.3.0
1.8
1.8
2.8.2
1.0.0
3.0.0
4.5.6
3.5.2
3.12.1
3.2.1

Моя локальная установка имеет java=1.8.0_202 и mvn=3.9.6
Я могу успешно скомпилировать src/main и src /test --> "mvn test-compile".
Когда я запускаю "mvn install", модульные тесты начинают завершаться неудачей со следующей ошибкой.

Код: Выделить всё

*** RUN ABORTED ***
An exception or error caused a run to abort: JAVA_9
java.lang.NoSuchFieldError: JAVA_9
at org.apache.spark.storage.StorageUtils$.(StorageUtils.scala:207)
at org.apache.spark.storage.StorageUtils$.(StorageUtils.scala)
at org.apache.spark.storage.BlockManagerMasterEndpoint.(BlockManagerMasterEndpoint.scala:114)
at org.apache.spark.SparkEnv$.$anonfun$create$9(SparkEnv.scala:353)
at org.apache.spark.SparkEnv$.registerOrLookupEndpoint$1(SparkEnv.scala:290)
at org.apache.spark.SparkEnv$.create(SparkEnv.scala:339)
at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:194)
at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:279)
at org.apache.spark.SparkContext.(SparkContext.scala:464)
at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2714)

Пожалуйста, помогите мне это исправить. Кроме того, я не понимаю, почему элемент управления попадает в блок «if» «org.apache.spark.storage.StorageUtils$.(StorageUtils.scala:207)», поскольку приложение скомпилировано только с Java 8.< /п>

Подробнее здесь: https://stackoverflow.com/questions/792 ... torage-sto