Apache Spark 3.3.0 Breaks на Java 17 с "не может получить доступ к классу sun.nio.ch.directbuffer" ⇐ JAVA

[Anonymous]

Аналогичный вопрос был задан при выполнении модульных тестов с Spark 3.3.0 на Java 17 сбое с allodalaccesserror: класс StorageUtils не может получить доступ к классу Sun.nio.ch.directbuffer, но этот вопрос (и решение) было только для модульных тестов. Для меня Spark разбивает на самом деле запуск программы. 8) В Windows 10, включая Spark 3.3.0 в Maven2.13
3.3.0
...

org.apache.spark
spark-core_${scala.version}
${spark.version}



org.apache.spark
spark-sql_${scala.version}
${spark.version}

< /code>
Я пытаюсь запустить простую программу: < /p>
final SparkSession spark = SparkSession.builder().appName("Foo Bar").master("local").getOrCreate();
final Dataset df = spark.read().format("csv").option("header", "false").load("/path/to/file.csv");
df.show(5);
< /code>
, который ломается повсюду: < /p>
Caused by: java.lang.IllegalAccessError: class org.apache.spark.storage.StorageUtils$ (in unnamed module @0x59d016c9) cannot access class sun.nio.ch.DirectBuffer (in module java.base) because module java.base does not export sun.nio.ch to unnamed module @0x59d016c9
at org.apache.spark.storage.StorageUtils$.(StorageUtils.scala:213)
at org.apache.spark.storage.BlockManagerMasterEndpoint.(BlockManagerMasterEndpoint.scala:114)
at org.apache.spark.SparkEnv$.$anonfun$create$9(SparkEnv.scala:353)
at org.apache.spark.SparkEnv$.registerOrLookupEndpoint$1(SparkEnv.scala:290)
at org.apache.spark.SparkEnv$.create(SparkEnv.scala:339)
at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:194)
at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:279)
at org.apache.spark.SparkContext.(SparkContext.scala:464)
at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2704)
at org.apache.spark.sql.SparkSession$Builder.$anonfun$getOrCreate$2(SparkSession.scala:953)
at scala.Option.getOrElse(Option.scala:201)
at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:947)
< /code>
Spark, очевидно, делает вещи, которые не должны делать в Java 17. < /p>
разочаровывает. Как мне обойти это?


Подробнее здесь: https://stackoverflow.com/questions/734 ... -ch-direct