Ошибка ImportError: нет модуля с именем «pyspark.errors» при импорте DeltaTable в блокнот AWS Glue Jupyter (контейнер Do ⇐ Python

[Anonymous]

Привет, сообщество Stack Overflow!

Я столкнулся со сложной проблемой при попытке импортировать DeltaTable из модуля delta.tables в свой блокнот Jupyter.

Я запускаю AWS Glue локально на своем MacBook, используя Docker-контейнер с изображением.

amazon/aws-glue-libs:glue_libs_4.0.0_image_01

Сообщение об ошибке, с которым я столкнулся:

Обнаружена ошибка: Нет модуля с именем «pyspark.errors». Traceback (последний вызов последний): Файл «/home/glue_user/.local/lib/python3.10/site-packages/delta/__init__.py», строка 17, в из delta.tables импортировать DeltaTable Файл «/home/glue_user/.local/lib/python3.10/site-packages/delta/tables.py», строка 21, в импортировать delta.Exceptions # noqa: F401; pylint: отключить = неиспользуемая переменная Файл «/home/glue_user/.local/lib/python3.10/site-packages/delta/Exceptions.py», строка 20, в из импорта pyspark.errors.Exceptions захвачено ModuleNotFoundError: нет модуля с именем «pyspark.errors». Вот основные сведения:
[*]Я установил дельта-библиотеку с помощью команды pip install. дельта-искра. [*]pyspark версии 3.3.0+amzn.1.dev0 отслеживается с помощью print(pyspark.__version__) [*]Python версии 3.10.2 [*]delta-spark-3.0.0 py4j-0.10.9.7 [*]Строка кода, вызывающая ошибку:
из delta.tables импортировать DeltaTable

Похоже, что в моей среде Jupyter Notebook в контейнере AWS Glue Docker может возникнуть проблема совместимости или отсутствовать зависимость. Несмотря на установку необходимых библиотек, ошибка сохраняется.

Я был бы очень признателен за любые идеи, решения или рекомендации, которые помогут решить эту проблему и успешно импортировать DeltaTable в мою среду AWS Glue Jupyter Notebook.

Даже код ниже выдает ту же ошибку:

импортировать дельту печать(delta.__version__) Пожалуйста, не стесняйтесь запрашивать любую дополнительную информацию, которая вам может понадобиться.

Заранее благодарим за помощь!