Приложение Pyspark не может подключиться к мастеру искры, работающему в миникубе ⇐ Python

[Anonymous]

Я новичок в Spark, и изучаю его.
У меня есть мастер Spark, и рабочие процессы работают в minikube

Код: Выделить всё

PS C:\Users\dlrla\workspace\bigdata\k8> kubectl get service -n spark
NAME           TYPE           CLUSTER-IP      EXTERNAL-IP   PORT(S)                         AGE
spark-master   LoadBalancer   10.101.28.138   127.0.0.1     7077:31145/TCP,8080:31592/TCP   14h

PS C:\Users\dlrla\workspace\bigdata\k8> kubectl get deployments -n spark
NAME           READY   UP-TO-DATE   AVAILABLE   AGE
spark-master   1/1     1            1           126m
spark-worker   2/2     2            2           126m

Я могу получить доступ к localhost:8088 для запуска пользовательского интерфейса, а 7077 прослушивает мой локальный хост. Но я не могу получить доступ с помощью следующего скрипта pyspark.

Код: Выделить всё

spark = SparkSession.builder \
.appName("Pyspark example") \
.master("spark://127.0.0.1:7077") \
.getOrCreate()

# Sample data
data = [("Alice", 28), ("Bob", 35), ("Catherine", 25)]
columns = ["Name", "Age"]

# Create a DataFrame
df = spark.createDataFrame(data, columns)

# Show the DataFrame
df.show()

# Perform basic transformations
df.filter(df.Age > 30).show()

Каждый раз, когда я выполнял это, я получал

Код: Выделить всё

C:\Users\dlrla\workspace\python\spark-test\pythonProject\venv\Scripts\python.exe C:\Users\dlrla\workspace\python\spark-test\pythonProject\main.py
The system cannot find the path specified.

Я тоже попробовал localhost:7077, но, конечно, это не удалось, хахаха,,,
Кроме того, я только что проверил искровую отправку

Код: Выделить всё

(venv) PS C:\Users\dlrla\workspace\python\spark-test\pythonProject> spark-submit --version
PythonThe system cannot find the path specified.
Failed to find Spark jars directory.
You need to build Spark before running this program.

Кто-нибудь может мне помочь, пожалуйста?

Подробнее здесь: https://stackoverflow.com/questions/793 ... n-minikube