Невозможно запустить PySpark в Google ColabPython

Программы на Python
Ответить
Anonymous
 Невозможно запустить PySpark в Google Colab

Сообщение Anonymous »

Привет, я пытаюсь запустить PySpark в Google Colab, используя следующий код:

Код: Выделить всё

!apt-get install openjdk-8-jdk-headless -qq > /dev/null
!wget -q http://apache.osuosl.org/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz
!tar xf spark-2.4.5-bin-hadoop2.7.tgz
!pip install -q findspark

Код: Выделить всё

import os
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"
os.environ["SPARK_HOME"] = "/content/spark-2.4.5-bin-hadoop2.7"

Код: Выделить всё

import findspark
findspark.init()
from pyspark.sql import SparkSession
spark = SparkSession.builder.master("local[*]").getOrCreate()
Я получаю следующую ошибку:

Код: Выделить всё

/content/spark-2.4.5-bin-hadoop2.7/python/pyspark/java_gateway.py in _launch_gateway(conf, insecure)
106
107             if not os.path.isfile(conn_info_file):
--> 108                 raise Exception("Java gateway process exited before sending its port number")
109
110             with open(conn_info_file, "rb") as info:

Exception: Java gateway process exited before sending its port number
ПРИМЕЧАНИЕ. Сегодня мне удалось запустить этот код до полудня, но внезапно эта ошибка начала появляться вечером

Подробнее здесь: https://stackoverflow.com/questions/621 ... ogle-colab
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»