Есть ли способ получить доступ к исполнителям pysparks и отправлять им задания вручную через блокнот Jupyter или Zeppeli ⇐ Python
-
Anonymous
Есть ли способ получить доступ к исполнителям pysparks и отправлять им задания вручную через блокнот Jupyter или Zeppeli
Возможно, это просто несбыточная мечта, но есть ли способ получить доступ к исполнителям pysparks и отправлять им задания вручную в блокноте Jupyter или Zeppelin?
Вероятно, это также противоречит всем соглашениям pyspark, но идея состоит в том, чтобы получить доступ к работающим исполнителям (работникам) кластеров EMR и отправить им для запуска скрипты Python. Что-то вроде многопроцессорной обработки Python, где пулом являются сами исполнители, и вы просто передаете им карту или список путей + аргументы скриптов Python или функцию.
pyspark_executors = sc.getExecutors() квадрат защиты (число): номер возврата ** 2 числа = [1, 2, 3, 4, 5] с pyspark_executors.Pool() в качестве пула: результаты = пул.карта(квадрат, числа) распечатать(результаты)
Возможно, это просто несбыточная мечта, но есть ли способ получить доступ к исполнителям pysparks и отправлять им задания вручную в блокноте Jupyter или Zeppelin?
Вероятно, это также противоречит всем соглашениям pyspark, но идея состоит в том, чтобы получить доступ к работающим исполнителям (работникам) кластеров EMR и отправить им для запуска скрипты Python. Что-то вроде многопроцессорной обработки Python, где пулом являются сами исполнители, и вы просто передаете им карту или список путей + аргументы скриптов Python или функцию.
pyspark_executors = sc.getExecutors() квадрат защиты (число): номер возврата ** 2 числа = [1, 2, 3, 4, 5] с pyspark_executors.Pool() в качестве пула: результаты = пул.карта(квадрат, числа) распечатать(результаты)
