Ошибка записи PySpark в BigQuery: вызвана: java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgume ⇐ JAVA

[Anonymous]

Привет, я прекрасно могу читать данные из BigQuery с помощью pyspark, но запись в него кажется невозможной, потому что эта ошибка продолжает появляться:

Код: Выделить всё

Caused by: java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;JJ)V

Я использую новейшие банки:

Код: Выделить всё

spark.jars.packages com.google.cloud.spark:spark-bigquery-with-dependencies_2.12:0.41.1,\
com.google.cloud.bigdataoss:gcs-connector:hadoop3-2.2.26

Или с некоторыми дополнительными пакетами, которые могут быть проблемой, как я обнаружил в stackoverflow, но они все равно не работают:

Код: Выделить всё

spark.jars.packages org.apache.hadoop:hadoop-aws:3.2.0,\
io.grpc:grpc-protobuf:1.69.0,\
io.grpc:grpc-stub:1.69.0,\
com.google.inject:guice:7.0.0,\
com.google.cloud.spark:spark-bigquery-with-dependencies_2.12:0.41.1,\
com.google.cloud.bigdataoss:gcs-connector:hadoop3-2.2.26

У вас есть идеи, что происходит или какой пакет несовместим?

Я также попробовал эти версии pyspark, и все они выдают одну и ту же ошибку:< /p>

Код: Выделить всё

3.1.3
3.3.3
3.5.1

Версия Java: Java 11.0.23 16 апреля 2024 г., LTS

Подробнее здесь: https://stackoverflow.com/questions/793 ... or-com-goo