Ошибка запуска задания Spark от Django API с использованием subprocess.popen ⇐ Python

[Anonymous]

Я создал исполняемый файл проекта Django, и мне нужно запустить задание Spark из конечной точки API в этом исполняемом файле. Я использую subprocess.popen для выполнения команды Spark-Submit, но я сталкиваюсь с ошибкой при выполнении команды. < /P>
Вот команда, которую я пытаюсь запустить: < /p>

Код: Выделить всё

/opt/spark-3.5.5-bin-hadoop3/bin/spark-submit --master local --deploy-mode client --conf "spark.ui.enabled=false" --conf "spark.ui.showConsoleProgress=false" --conf "spark.dynamicAllocation.enabled=false" --conf "spark.rdd.compress=false" --conf "spark.driver.memory=4g" --conf "spark.executor.memory=8g" --conf "spark.serializer=org.apache.spark.serializer.KryoSerializer" /Users/user1/Project/process-engine/route.py > /app/server/EAP/rasLite/engine/raslight/spark_submit_log/20250424/772_1.0_174702842893.log 2>&1 "{'processNo': '772', 'versionNo': '1.0', 'jsonData': '', 'executionDate': '', 'skipError': 'N', 'generated_executionid': '149897', 'isExecutionIdGenerated': 'True', 'executionId': '149897', 'isPreProcess': 'False'}" &
< /code>
Однако я получаю следующую ошибку в журналах: < /p>
Unknown command: 'C:/Users/user1/Project/process-engine/route.py'
Type 'ras.exe help' for usage.

Контекст:

Я использую эту команду из конечной точки API Django в исполняемом файле проекта Django. (/SUSERS/... ).command = f'/Users/user1/Project/process-engine/spark-3.5.5-bin-hadoop3/bin/spark-submit --master local --deploy-mode client --conf "spark.ui.enabled=false" --conf "spark.ui.showConsoleProgress=false" --conf "spark.dynamicAllocation.enabled=false" --conf "spark.rdd.compress=false" --conf "spark.driver.memory=4g" --conf "spark.executor.memory=8g" --conf "spark.serializer=org.apache.spark.serializer.KryoSerializer" /Users/user1/Project/process-engine/route.py > {finalFilePath} 2>&1'

final_command = command + " " + '\"' + raw_body_decoded1 + '\"' + " " + "&"

# Set the environment variables for the subprocess
env = os.environ.copy()
env['DJANGO_SETTINGS_MODULE'] = 'rasLightEngine.settings'
env['SPARK_HOME'] = 'C:/Users/user1/Project/process-engine/spark-3.5.5-bin-hadoop3'

subprocess.Popen(f'{final_command}', shell=True, env=env)

< /code>
Я попробую настроить переменную среды для Spark_home, но она все еще показывает ту же ошибку. Проблема возникает конкретно, когда я создаю исполняемый файл своего проекта Django, а затем называю этот API.python manage.py runserver 8000
< /code>
Все работает нормально, и задание Spark выполняется без каких -либо проблем. Если у вас есть какое -либо представление о том, как решить эту проблему при выполнении проекта в качестве исполняемого файла, я бы очень признателен за вашу помощь!
Спасибо!

Подробнее здесь: https://stackoverflow.com/questions/795 ... cess-popen