Работник искры получает задание, но не приступает к работе ⇐ Python

[Anonymous]

Я использую этот составной файл для создания локального искрового «кластера»

версия: "3" услуги: искро-мастер: изображение: искра:3.5.0 точка входа: /opt/spark/bin/spark-class org.apache.spark.deploy.master.Master порты: - 8080:8080 - 7077:7077 искровщик: изображение: искра:3.5.0 зависит от: - мастер искр точка входа: /opt/spark/bin/spark-class org.apache.spark.deploy.worker.Worker spark://spark-master:7077 После этого я использую среду conda для подключения к искровому кластеру с моего хост-компьютера

имя: искра каналы: - Конда-Форж - значения по умолчанию зависимости: - питон=3.8 - писпарк - Юпитер Однако, когда я открываю блокнот и запускаю следующую команду, я вижу, что в моем веб-интерфейсе Spark появилось новое приложение. Но, похоже, он ничего не делает.

импортировать pyspark искра = pyspark.sql.SparkSession.builder.master("spark://localhost:7077").getOrCreate() spark.range(1000 * 1000 * 1000).count() Когда я проверяю журналы своего работника, я вижу, что он что-то получил. Но это ничего не делает.

23/09/22 10:06:19 INFO ExecutorRunner: Команда запуска: "/opt/java/openjdk/bin/java" "-cp" "/opt/spark/conf:/opt/spark /jars/*" "-Xmx1024M" "-Dspark.driver.port=55497" "-Djava.net.preferIPv6Addresses=false" "-XX:+IgnoreUnrecouncedVMOptions" "--add-opens=java.base/java.lang =ALL-UNNAMED" "--add-opens=java.base/java.lang.invoke=ALL-UNNAMED" "--add-opens=java.base/java.lang.reflect=ALL-UNNAMED" "-- add-opens=java.base/java.io=ALL-UNNAMED" "--add-opens=java.base/java.net=ALL-UNNAMED" "--add-opens=java.base/java.nio= ALL-UNNAMED" "--add-opens=java.base/java.util=ALL-UNNAMED" "--add-opens=java.base/java.util.concurrent=ALL-UNNAMED" "--add-opens =java.base/java.util.concurrent.atomic=ALL-UNNAMED" "--add-opens=java.base/sun.nio.ch=ALL-UNNAMED" "--add-opens=java.base/sun .nio.cs=ALL-UNNAMED" "--add-opens=java.base/sun.security.action=ALL-UNNAMED" "--add-opens=java.base/sun.util.calendar=ALL-UNNAMED " "--add-opens=java.security.jgss/sun.security.krb5=ALL-UNNAMED" "-Djdk.reflect.useDirectMethodHandle=false" "org.apache.spark.executor.CoarseGrainedExecutorBackend" "--driver- url" "spark://CoarseGrainedScheduler@macos-mbp-vxmhhhfvxd.sickcn.net:55497" "--executor-id" "0" "--hostname" "172.28.0.4" "--cores" "10" " --app-id" "app-20230922100619-0000" "--worker-url" "spark://Worker@172.28.0.4:41199" "--resourceProfileId" "0" есть идеи, что здесь не так?