Java.lang.NoClassDefFoundError: не удалось инициализировать класс org.apache.spark.SparkThrowableHelper$ ⇐ JAVA

[Anonymous]

Я пытаюсь оценить выпущенную на данный момент версию Spark 4 и обнаружил некоторые проблемы.

Код: Выделить всё

SparkSession spark = SparkSession.builder().master("local[*]").appName("spark test").getOrCreate();
Map kafkaParams = new HashMap();
kafkaParams.put("kafka.bootstrap.servers", "localhost:9092");
kafkaParams.put("subscribe", "test_topic");
kafkaParams.put("startingOffsets", "earliest");

Dataset df = spark.read().format("kafka").options(kafkaParams).load()  // The codes work successfully without exceptions

Map options = new HashMap();
Dataset dfs = df.select(from_csv(col("column"), lit(SparkColumnPojo.getSchemaString()), options)  // This line throws Errors
.as("entitySparkPojo"))
.selectExpr("entitySparkPojo.date", "entitySparkPojo.value", "entitySparkPojo.state",
"entitySparkPojo.id", "entitySparkPojo.title", "entitySparkPojo.frequency_short",
"entitySparkPojo.units_short", "entitySparkPojo.seasonal_adjustment_short").toDF();

Кадр данных Spark 4 из Kafka успешно создан. Но функция выбора DataFrame выдает следующие исключения.

Код: Выделить всё

Exception in thread "main" java.lang.NoClassDefFoundError: Could not initialize class org.apache.spark.SparkThrowableHelper$
at org.apache.spark.sql.AnalysisException.(AnalysisException.scala:47)
at org.apache.spark.sql.errors.QueryCompilationErrors$.funcBuildError(QueryCompilationErrors.scala:3814)
at org.apache.spark.sql.catalyst.analysis.FunctionRegistryBase$.$anonfun$build$4(FunctionRegistry.scala:156)
at org.apache.spark.sql.catalyst.analysis.FunctionRegistry$.$anonfun$expression$1(FunctionRegistry.scala:970)
at org.apache.spark.sql.catalyst.analysis.SimpleFunctionRegistryBase.lookupFunction(FunctionRegistry.scala:239)
at org.apache.spark.sql.catalyst.analysis.SimpleFunctionRegistryBase.lookupFunction$(FunctionRegistry.scala:233)
at org.apache.spark.sql.catalyst.analysis.SimpleFunctionRegistry.lookupFunction(FunctionRegistry.scala:305)
at org.apache.spark.sql.catalyst.catalog.SessionCatalog.$anonfun$resolveBuiltinOrTempFunctionInternal$1(SessionCatalog.scala:1704)
at org.apache.spark.sql.catalyst.catalog.SessionCatalog.lookupTempFuncWithViewContext(SessionCatalog.scala:1714)
at org.apache.spark.sql.catalyst.catalog.SessionCatalog.resolveBuiltinOrTempFunctionInternal(SessionCatalog.scala:1704)
at org.apache.spark.sql.catalyst.catalog.SessionCatalog.resolveBuiltinOrTempFunction(SessionCatalog.scala:1681)
at org.apache.spark.sql.catalyst.analysis.Analyzer$ResolveFunctions$.org$apache$spark$sql$catalyst$analysis$Analyzer$ResolveFunctions$$resolveBuiltinOrTempFunction(Analyzer.scala:2391)
at org.apache.spark.sql.catalyst.analysis.Analyzer$ResolveFunctions$.$anonfun$resolveFunction$1(Analyzer.scala:2345)
at org.apache.spark.sql.catalyst.analysis.package$.withPosition(package.scala:100)

Файл spark-common-utils_2.13-4.0.0-preview2.jar содержит класс org.apache.spark.SparkThrowableHelper$, поэтому я вставляю зависимость в pom.xml
Файл spark-common-utils_2.13-4.0.0-preview2.jar содержит класс org.apache.spark.SparkThrowableHelper$, поэтому я вставляю зависимость в pom.xml
Файл spark-common-utils_2.13-4.0.0-preview2.jar содержит класс org.apache.spark.SparkThrowableHelper$, поэтому я вставляю зависимость в pom.xml
р>

Код: Выделить всё

org.apache.spark
spark-common-utils_2.13
4.0.0-preview2

Однако выдаются те же исключения. Вышеуказанные коды работали без ошибок на Spark 3.4, но в 4.0.0-preview2 коды не работают. Я думаю, что эти ошибки связаны с ошибками искры 4.0.0-preview2. Есть идеи?

Подробнее здесь: https://stackoverflow.com/questions/793 ... spark-spar