Spark/pyspark в той же версии, но «py4j.Py4JException: конструктор org.apache.spark.api.python.PythonFunction не существ ⇐ Python

[Anonymous]

У меня правильно синхронизирована установка клиента pyspark/spark: обе версии — 3.3.1 [показано ниже]. Полное сообщение об исключении:

py4j.Py4JException: Constructor org.apache.spark.api.python.PythonFunction([class [B, class java.util .HashMap, класс java.util.ArrayList, класс java.lang.String, класс java.lang.String, класс java.util.ArrayList, класс org.apache.spark.api.python.PythonAccumulatorV2]) не существует

В другом сообщении SOF это было указано как наиболее вероятное из-за несоответствия версий между вызывающим/вызывающим объектом pyspark и бэкэндом spark . Я согласен, что это может показаться вероятной причиной: но я тщательно проверил, что обе части уравнения равны:

Код: Выделить всё

pyspark

и Spark — одинаковые версии:

Код: Выделить всё

Python 3.10.13 (main, Aug 24 2023, 22:48:59) [Clang 14.0.3 (clang-1403.0.22.14.1)]

In [1]: import pyspark

In [2]: print(f"PySpark version: {pyspark.__version__}")
PySpark version: 3.3.1

Код: Выделить всё

Spark

был установлен путем загрузки версии 3.3.1 .tgz непосредственно с сайта apache и разархивирования/tar-ring. SPARK_HOME был указан на этот каталог, а к пути был добавлен $SPARK_HOME/bin.

Код: Выделить всё

$spark-shell --version

Welcome to
____              __
/ __/__  ___ _____/ /__
_\ \/ _ \/ _ `/ __/  '_/
/___/ .__/\_,_/_/ /_/\_\   version 3.3.1
/_/

Внутри скрипта Python также была проверена версия:

Версия pyspark: 3.3.1

Но скрипт вылетает из-за ошибки pyspark/spark

Произошла ошибка при вызове None.org.apache.spark.api.python.PythonFunction


py4j.Py4JException: Конструктор org.apache.spark. api.python.PythonFunction([класс [B, класс java.util.HashMap, класс java.util.ArrayList, класс java.lang.String, класс java.lang.String, класс java.util.ArrayList, класс org.apache .spark.api.python.PythonAccumulatorV2]) не существует
в py4j.reflection.ReflectionEngine.getConstructor(ReflectionEngine.java:180)

Итак.. что здесь еще может быть? Есть ли какая-то причина, по которой я не вижу, что версии spark/pyspark могут быть не синхронизированы?


Подробнее здесь: https://stackoverflow.com/questions/772 ... -apache-sp