Как я могу исправить ошибку «Процесс шлюза Java Gateway, вышел перед отправкой номера порта». В Python при запуске Pyspa ⇐ JAVA

[Anonymous]

У меня есть код, который я пытаюсь запустить с Pyspark в Python 3.13, вот наименьшее количество кода, необходимого для воспроизведения моей проблемы: < /p>

Код: Выделить всё

from pyspark.sql import SparkSession
pyspark = SparkSession.builder.master("local[8]").appName("example").getOrCreate()
< /code>
всякий раз, когда я ее запускаю, я получаю эту ошибку: < /p>
Traceback (most recent call last):
File "C:/Users/Example/test.py", line 6, in 
.getOrCreate()
File "C:\Users\Example\AppData\Roaming\Python\Python313\site-packages\pyspark\sql\session.py", line 497, in getOrCreate
sc = SparkContext.getOrCreate(sparkConf)
File "C:\Users\Example\AppData\Roaming\Python\Python313\site-packages\pyspark\context.py", line 515, in getOrCreate
SparkContext(conf=conf or SparkConf())
File "C:\Users\Example\AppData\Roaming\Python\Python313\site-packages\pyspark\context.py", line 201, in __init__
SparkContext._ensure_initialized(self, gateway=gateway, conf=conf)
File "C:\Users\Example\AppData\Roaming\Python\Python313\site-packages\pyspark\context.py", line 436, in _ensure_initialized
SparkContext._gateway = gateway or launch_gateway(conf)
File "C:\Users\Example\AppData\Roaming\Python\Python313\site-packages\pyspark\java_gateway.py", line 107, in launch_gateway
raise PySparkRuntimeError(
pyspark.errors.exceptions.base.PySparkRuntimeError: [JAVA_GATEWAY_EXITED] Java gateway process exited before sending its port number.
< /code>
Я ожидаю, что он не даст никаких ошибок. Я нахожусь на Windows 11, используя Pyspark 3.5.4 (подтверждено PIP Show Pyspark 

в командной строке) на Python 3.13 и установил Java 17.0.13 (подтверждено с помощью Java -version в командной строке) также) также также Полем Я попробовал удалить все другие версии Python и Java. У меня есть java_home и spark_home , добавленные в качестве системной переменной и добавлены Java и Pyspark к переменной пути. Я попытался увеличить распределение памяти Java и Pyspark. Я пытался отключить свой антивирус. Я попытался настроить конфигурацию log4j, изменяя pyspark = sparksession.builder.master ("local [8]"). Appname ("Пример"). GetorCreate () to:

Код: Выделить всё

spark = SparkSession.builder \
.master("local[8]") \
.appName("test") \
.config("spark.sql.warehouse.dir", "file:///C:/tmp") \
.getOrCreate()

Я попытался добавить журнал, заменив pyspark = sparksession.builder.master ("local [8]"). appname ("Пример"). getorCreate () с: < /p>

Код: Выделить всё

spark = SparkSession.builder \
.appName("example") \
.config("spark.ui.showConsoleProgress", "false") \
.config("spark.driver.extraJavaOptions", "-Dlog4j.debug") \
.getOrCreate()
< /code>
Но не получил ничего больше.
Я пытался удалить и переустановить Pyspark, Python и Java, а также снял другие версии, которые я установил. Для Pyspark я попробовал оба PIP -удаления PySpark 

и PIP удалить Pyspark py4j (а затем изменил удаление, чтобы установить, чтобы переустановить его, конечно). Ничто из этого или что -то, что было предложено в приведенных ниже вопросах, не остановила ошибку или изменила ее вообще. Что происходит и как я могу это исправить, чтобы это не дало мне ошибки? Сообщения по причинам, перечисленным ниже:

< /p>

• Исключение: процесс Java Gateway вышел перед отправкой номера порта Pyspark, Java Ошибка Java Gateway Процесс вышел перед отправкой номера порта, или ошибка Pyspark: процесс шлюза Java, вышел перед отправкой номера порта, потому что они имеют другой след, а предлагаемое решение не работает. < /li>
  Исключение init: процесс Gateway Java Gateway, вышел перед отправкой номера своего порта, потому что у меня нет Hadoop, и я нахожусь в совместимой версии Java. < /li>
  pyspark: "Исключение: Процесс Java Gateway вышел перед отправкой водителя номера порта "или Pysparkruntimeerror: [java_gateway_exited? /> Ошибка с Pyspark "Процесс шлюза Java Gatewow Ошибка, когда они устанавливают не при запуске, и потому что они испытывают другие ошибки, которых я не Чтобы найти источник данных: kafka, потому что у меня нет kafka. Перед отправкой номера порта `потому что я не в Google Colab. .utils.analysisexception: не удалось найти источник данных: kafka, потому что эти вопросы имеют другую ошибку.

Подробнее здесь: https://stackoverflow.com/questions/793 ... s-port-num