Com.holdenkarau.spark.testing - java.lang.NoSuchFieldError: METASTOREURIS ⇐ JAVA

[Anonymous]

У меня есть приложение Spark Scala, оно использует следующие версии.
Зависимости:

Код: Выделить всё

org.apache.spark:spark-core_2.12:jar:3.3.2
org.apache.spark:spark-hive_2.12:jar:3.3.2
org.apache.hive:hive-common:jar:2.3.9
com.holdenkarau:spark-testing-base_2.12:jar:3.3.2_2.0.1
org.apache.hive:hive-metastore:jar:4.0.0:provided

scala version - 2.12.18
Java version for compiling - 8
mvn version - 3.9.6

Когда я запускаю «mvn install», модульные тесты начинают завершаться неудачей со следующей ошибкой.

Код: Выделить всё

*** RUN ABORTED ***

An exception or error caused a run to abort: METASTOREURIS
java.lang.NoSuchFieldError: METASTOREURIS
at com.holdenkarau.spark.testing.DataFrameSuiteBaseLike.builder(DataFrameSuiteBase.scala:177)
at com.holdenkarau.spark.testing.DataFrameSuiteBaseLike.builder$(DataFrameSuiteBase.scala:160)
at com.walmart.dsi.gg.BaseSpec.builder(BaseSpec.scala:14)
at com.holdenkarau.spark.testing.DataFrameSuiteBaseLike.sqlBeforeAllTestCases(DataFrameSuiteBase.scala:219)
at com.holdenkarau.spark.testing.DataFrameSuiteBaseLike.sqlBeforeAllTestCases$(DataFrameSuiteBase.scala:213)
at com.walmart.dsi.gg.BaseSpec.com$holdenkarau$spark$testing$DataFrameSuiteBase$$super$sqlBeforeAllTestCases(BaseSpec.scala:14)
at com.holdenkarau.spark.testing.DataFrameSuiteBase.beforeAll(DataFrameSuiteBase.scala:97)
at com.holdenkarau.spark.testing.DataFrameSuiteBase.beforeAll$(DataFrameSuiteBase.scala:95)
at com.walmart.dsi.gg.BaseSpec.beforeAll(BaseSpec.scala:22)
at org.scalatest.BeforeAndAfterAll.liftedTree1$1(BeforeAndAfterAll.scala:212)

Я вижу, что поле «METASTOREURIS» отсутствует в классе «HiveConf» (https://github.com/apache/hive/blob/mas ... c/java/org /apache/hadoop/hive/conf/HiveConf.java).
Какую версию библиотек hive или Holdenkarau мне следует здесь использовать?

Подробнее здесь: https://stackoverflow.com/questions/792 ... astoreuris