Ошибка несоответствия версий для бессерверной среды выполнения dataproc 1.2. ⇐ JAVA

[Anonymous]

Я хочу запустить задание Spark на основе Scala 2.12.15 и Spark 3.3.4 с помощью sparkBigQueryConnectorVersion = "0.28.1".
Я только что обновил среду выполнения бессерверной обработки данных с 1.1 до 1.2, так как мне нужно обновить Java 11 до Java 17, также изменив версии библиотеки в build.sbt на следующие:
val sparkVersion = "3.5.1"
val sparkBigQueryConnectorVersion = "0.36.4"
val sparkAvroVersion = "3.5.1"`

для поддержки версий, указанных здесь в документации dataproc serverless 1.2 https://cloud.google.com/dataproc-serve ... untime-1.2
p>
Однако я получаю сообщение об ошибке:
Exception in thread "main" java.util.ServiceConfigurationError: org.apache.spark.sql.sources.DataSourceRegister: com.google.cloud.spark.bigquery.BigQueryRelationProvider not a subtype
at java.base/java.util.ServiceLoader.fail(ServiceLoader.java:593)
at java.base/java.util.ServiceLoader$LazyClassPathLookupIterator.hasNextService(ServiceLoader.java:1244)
at java.base/java.util.ServiceLoader$LazyClassPathLookupIterator.hasNext(ServiceLoader.java:1273)
...


Подробнее здесь: https://stackoverflow.com/questions/793 ... untime-1-2