Pyspark Py4JJavaError при создании дельта-таблицы ⇐ Python

[Anonymous]

Вот код pyspark, который работает на ноутбуке Jupyter.

Код: Выделить всё

import pyspark
from delta import *
builder = pyspark.sql.SparkSession.builder.appName("MyApp") \
.config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \

.config("spark.sql.catalog.spark_catalog",
"org.apache.spark.sql.delta.catalog.DeltaCatalog")
spark = configure_spark_with_delta_pip(builder).getOrCreate()

Ошибка:
Py4JJavaError: произошла ошибка при вызове None.org.apache.spark.api.java.JavaSparkContext.
: java.lang.IllegalAccessError: class org.apache.spark.storage.StorageUtils$ (в безымянном модуле @0x30cb5b99) невозможно доступ к классу sun.nio.ch.DirectBuffer (в модуле java.base), поскольку модуль java.base не экспортирует sun.nio.ch в безымянный модуль @0x30cb5b99
конфигурация:

• delta-spark=1.1.0
• pyspark=3.2.0
• Java версия:
  openjdk 17.0.1 19.10.2021
  Среда выполнения OpenJDK Homebrew (сборка 17.0.1+1)
  64-разрядная серверная виртуальная машина OpenJDK Homebrew (сборка 17.0.1+1, смешанный режим, общий доступ)
   

.bash_profile:

Код: Выделить всё

export HADOOP_HOME=/opt/hadoop-2.8.0
export SPARK_HOME=/opt/spark-3.2.0-bin-hadoop3.2
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_PYTHON=python3
export PYSPARK_DRIVER_PYTHON="jupyter"
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

 
пожалуйста, помогите мне устранить ошибку. Заранее спасибо.

Подробнее здесь: https://stackoverflow.com/questions/707 ... elta-table