Как я могу отправить .csv в доккеризованный кластер Spark? Я продолжаю получать ошибки PATH_NOT_FOUND ⇐ Python

[Anonymous]

Я новичок в Apache Spark, и у меня возникла проблема, но я думаю, что она скорее концептуальная, чем техническая.
Я создал кластерную среду с главным и двумя рабочими процессами. Затем я пытаюсь выполнить очень простой код, который создает DataFrame из CSV и отображает информацию:

Код: Выделить всё

from pyspark.sql import SparkSession

#Create SparkSession
spark = SparkSession.builder \
.master("spark://127.0.0.1:7077") \
.appName("Test") \
.config("spark.driver.host", "[myIP]") \
.getOrCreate()
spark.sparkContext.setLogLevel("DEBUG")

file= "/opt/bitnami/spark/apps/mpg.csv"
mpg_data = spark.read.csv(file,header=True,inferSchema=True)
mpg_data.show()

Затем я получаю эту ошибку:

Traceback (последний последний вызов):
File "c :\spark-ml.py", строка 41, в
mpg_data = spark.read.csv(file,header=True,inferSchema=True)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ^
Файл "C:\readwriter.py", строка 740, в csv
return self._df(self._jreader.csv(self._spark._sc._jvm.PythonUtils.toSeq(путь)))
^^^^^^^^^^^^^^^^^^^^ ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
Файл "C:\java_gateway.py", строка 1322, в call
return_value = get_return_value(
^^^^^^^^^^^^^^^^^
Файл «C:\captured.py», строка 185, в формате deco
raise преобразован из None
pyspark.errors.Exceptions.captured.AnalysisException: [PATH_NOT_FOUND] Путь не существует: файл:/opt/bitnami/spark/apps/mpg.csv.

Все докеры имеют том, созданный по маршруту /opt/bitnami/spark/apps/, и они попадают в файл.
Я думаю, проблема в том, что что я водитель и код выполняется у меня в компе, а не в воркеров. Но если я укажу на файл на своем компьютере, рабочие не смогут добраться до файла.
Как лучше всего это сделать в реальном мире? Мне следует создать новый докер для драйвера или использовать другую систему для отправки файла?
Спасибо!

Подробнее здесь: https://stackoverflow.com/questions/792 ... th-not-fou