Исключения Pyspark: [java_gateway_exited] Процесс Java Gateway вышел перед отправкой номера порта ⇐ JAVA

[Anonymous]

Да, я знаю, что мне скажут, что это дубликат, но это не так.

Код: Выделить всё

Error : unable to find or load main class org.apache.spark.deploy.SparkSubmit
Caused by : java.lang.ClassNotFoundException: org.apache.spark.deploy.SparkSubmit
Traceback (most recent call last):
File "d:\Users\azeve\Desktop\École\MT4\DEVOPS\RENDU_DEVOPS_MT4\src\main.py", line 40, in 
spark = SparkSession.builder.master(f'spark://spark-master:7077').appName("SimpleApp").getOrCreate()
File "D:\Users\azeve\Desktop\École\MT4\DEVOPS\RENDU_DEVOPS_MT4\.venv\lib\site-packages\pyspark\sql\session.py", line 497, in getOrCreate
sc = SparkContext.getOrCreate(sparkConf)
File "D:\Users\azeve\Desktop\École\MT4\DEVOPS\RENDU_DEVOPS_MT4\.venv\lib\site-packages\pyspark\context.py", line 515, in getOrCreate
SparkContext(conf=conf or SparkConf())
File "D:\Users\azeve\Desktop\École\MT4\DEVOPS\RENDU_DEVOPS_MT4\.venv\lib\site-packages\pyspark\context.py", line 201, in __init__
SparkContext._ensure_initialized(self, gateway=gateway, conf=conf)
File "D:\Users\azeve\Desktop\École\MT4\DEVOPS\RENDU_DEVOPS_MT4\.venv\lib\site-packages\pyspark\context.py", line 436, in _ensure_initialized
SparkContext._gateway = gateway or launch_gateway(conf)
File "D:\Users\azeve\Desktop\École\MT4\DEVOPS\RENDU_DEVOPS_MT4\.venv\lib\site-packages\pyspark\java_gateway.py", line 107, in launch_gateway
raise PySparkRuntimeError(
pyspark.errors.exceptions.base.PySparkRuntimeError: [JAVA_GATEWAY_EXITED] Java gateway process exited before sending its port number.
< /code>
Как я видел в нескольких местах в Интернете, < /p>
[list]
[*]  Сначала я попробовал с jdk8, но это не сработало < /p>
< /li>
  Я не сработал Java, затем установил Jdk 11, < /p>

> Также добавил java_home на мой путь, и когда я набираю java -version, я получаю:
openjdk version "11.0.22" 2024-01-16 OpenJDK Runtime Environment Temurin-11.0.22+7 (build 11.0.22+7) OpenJDK 64-Bit Server VM Temurin-11.0.22+7 (build 11.0.22+7, mixed mode)

as answer.

[*] Я был осторожен, чтобы выровнять мою версию Pyspark с версией моего Bitnami Spark Cluster в 3.5.0.

[*] my -версия для питона - Python 3.12.1
/> [*] Порты на моем Spark Master-8080 для WebUI и 7077 для искру.

Код: Выделить всё

from pyspark.sql import SparkSession
from pyspark.conf import SparkConf

from pyspark.sql.types import IntegerType
from pyspark.sql.types import StructField
from pyspark.sql.types import StructType

if __name__ == "__main__":

conf = SparkConf()
conf.setAll(
[
(
"spark.master",
"spark://spark-master:7077"
),
("spark.driver.host", "local[*]"),
("spark.submit.deployMode", "client"),
("spark.driver.bindAddress", "0.0.0.0"),
("spark.app.name", "HelloWorld"),
]
)

spark = SparkSession.builder.config(conf=conf).getOrCreate()

df = spark.createDataFrame([("Hello World",)], ["greeting"])
df.show()

spark. Stop()

В конфигурации pyspark я попробовал "spark.master":

spark://127.0.1.1:7077
[*] spark: // localhost: 7077
[*] spark: // localhost: 7077 /> [*] Spark: // Spark-master: 7077
[*] spark://host.docker.internal:7077
[/list]
и также попробовал для "spark.driver.host":

• 
  
  /> Контейнер ip
• 127.0.0.1
• localhost

Я действительно надеюсь, что вы сможете мне помочь, я использовал это видео, чтобы установить все: https://www.youtube.com/watch?>

Подробнее здесь: https://stackoverflow.com/questions/779 ... -before-se