Отправьте проект Python в задание Dataproc ⇐ Python

[Anonymous]

У меня есть проект Python, папка которого имеет структуру

Код: Выделить всё

main_directory - lib - lib.py
- run - script.py

Код: Выделить всё

script.py

— это

Код: Выделить всё

from lib.lib import add_two
spark = SparkSession \
.builder \
.master('yarn') \
.appName('script') \
.getOrCreate()

print(add_two(1,2))

и lib.py — это

Код: Выделить всё

def add_two(x,y):
return x+y

Я хочу запустить задание Dataproc в GCP. Я проверил онлайн, но не совсем понял, как это сделать. Я пытаюсь запустить скрипт с помощью

Код: Выделить всё

gcloud dataproc jobs submit pyspark --cluster=$CLUSTER_NAME --region=$REGION \
run/script.py

Но я получаю следующее сообщение об ошибке:

Код: Выделить всё

from lib.lib import add_two
ModuleNotFoundError: No module named 'lib.lib'

Не могли бы вы помочь мне, как мне запустить задание на Dataproc? Единственный способ, который я нашел, — это удалить абсолютный путь, внеся это изменение в script.py:

Код: Выделить всё

 from lib import add_two

и запустите задание как

Код: Выделить всё

gcloud dataproc jobs submit pyspark --cluster=$CLUSTER_NAME --region=$REGION \
--files /lib/lib.py \
/run/script.py

Однако мне бы хотелось избежать утомительного процесса каждый раз вручную составлять список файлов.

По предложению @Игоря упаковать в zip-файл я обнаружил, что

Код: Выделить всё

zip -j --update -r libpack.zip /projectfolder/* && spark-submit --py-files libpack.zip /projectfolder/run/script.py

работает. Однако при этом все файлы помещаются в одну и ту же корневую папку в libpack.zip, поэтому, если бы в подпапках были файлы с одинаковыми именами, это не сработало бы.

Есть предложения?

Подробнее здесь: https://stackoverflow.com/questions/613 ... taproc-job