Как исправить ошибку «Процесс шлюза Java завершился до отправки номера порта». в Python при запуске PySpark? ⇐ JAVA

[Anonymous]

У меня есть код, который я пытаюсь запустить с помощью PySpark в Python 3.13. Вот наименьший объем кода, необходимый для воспроизведения моей проблемы:

Код: Выделить всё

from pyspark.sql import SparkSession
pyspark = SparkSession.builder.master("local[8]").appName("example").getOrCreate()

Каждый раз, когда я запускаю его, я получаю эту ошибку:

Код: Выделить всё

Traceback (most recent call last):
File "C:/Users/Example/test.py", line 6, in 
.getOrCreate()
File "C:\Users\Example\AppData\Roaming\Python\Python313\site-packages\pyspark\sql\session.py", line 497, in getOrCreate
sc = SparkContext.getOrCreate(sparkConf)
File "C:\Users\Example\AppData\Roaming\Python\Python313\site-packages\pyspark\context.py", line 515, in getOrCreate
SparkContext(conf=conf or SparkConf())
File "C:\Users\Example\AppData\Roaming\Python\Python313\site-packages\pyspark\context.py", line 201, in __init__
SparkContext._ensure_initialized(self, gateway=gateway, conf=conf)
File "C:\Users\Example\AppData\Roaming\Python\Python313\site-packages\pyspark\context.py", line 436, in _ensure_initialized
SparkContext._gateway = gateway or launch_gateway(conf)
File "C:\Users\Example\AppData\Roaming\Python\Python313\site-packages\pyspark\java_gateway.py", line 107, in launch_gateway
raise PySparkRuntimeError(
pyspark.errors.exceptions.base.PySparkRuntimeError: [JAVA_GATEWAY_EXITED] Java gateway process exited before sending its port number.

Я ожидаю, что ошибок не будет. Я работаю в Windows 11, использую PySpark 3.5.4 (подтверждено с помощью pip show pyspark в командной строке) на Python 3.13, а также установлена ​​Java 17.0.13 (подтверждена с помощью java -version в командной строке). . Я попытался удалить все остальные версии Python и Java. Я добавил JAVA_HOME и SPARK_HOME в качестве системной переменной и добавил Java и PySpark в переменную Path. Я попытался увеличить выделение памяти Java и PySpark. Я попробовал отключить антивирус. Я попытался настроить конфигурацию log4j, изменив pyspark = SparkSession.builder.master("local[8]").appName("example").getOrCreate() на:

Код: Выделить всё

spark = SparkSession.builder \
.master("local[8]") \
.appName("test") \
.config("spark.sql.warehouse.dir", "file:///C:/tmp") \
.getOrCreate()

Я попробовал добавить ведение журнала, заменив pyspark = SparkSession.builder.master("local[8]").appName("example").getOrCreate() на:< /p>

Код: Выделить всё

spark = SparkSession.builder \
.appName("example") \
.config("spark.ui.showConsoleProgress", "false") \
.config("spark.driver.extraJavaOptions", "-Dlog4j.debug") \
.getOrCreate()

но больше ничего не получилось.
Я попробовал удалить и переустановить PySpark, Python и Java, а также удалить другие установленные мной версии. Для PySpark я попробовал как pip uninstall pyspark, так и pip uninstall pyspark py4j (а затем, конечно же, изменил удаление на установку, чтобы переустановить его). Ни одна из этих вещей или чего-либо, предложенного в вопросах ниже, не остановила ошибку и не изменила ее вообще. Что происходит и как я могу это исправить, чтобы не возникало ошибок?
Это не дубликат этого вопроса, этого вопроса или этого вопроса, потому что у них разные обратная трассировка и предлагаемые решения не работают. Это не дубликат этого вопроса, поскольку у меня нет Hadoop и я использую совместимую версию Java. Это не дубликат этого вопроса, потому что я не использую Macbook или Linux, и ни одно из решений не работает. Это также не дубликат этого вопроса, потому что я (все еще) не использую Macbook. Это не дубликат этого вопроса, потому что у меня нет Hadoop, пользователь сталкивается с ошибкой при установке, а не при запуске, и поскольку у него возникают другие ошибки, а у меня нет. Это не дубликат этого вопроса, потому что у меня нет Кафки. Это не дубликат этого вопроса, потому что меня нет в Google Colab. Это не дубликат этого вопроса или этого вопроса, поскольку в этих вопросах другая ошибка.

Подробнее здесь: https://stackoverflow.com/questions/793 ... s-port-num