Интеграция pyspark с Hive ⇐ Python

[Anonymous]

Я работаю с Hadoop, Hive и Spark, в ходе которой мне нужно запрашивать таблицы, созданные в Hive. Я пытаюсь подключиться к Hive из ноутбука Jupiter с библиотекой pyspark следующим образом:

Код: Выделить всё

import findspark
findspark.init()
from pyspark.sql import SparkSession
from pyspark.conf import SparkConf
spark = SparkSession.builder.appName("laboratorio2").config("hive.metastore.uris", "thrift://localhost:9083", conf=SparkConf()).enableHiveSupport().getOrCreate()
spark.sql("show databases").show()

Вот что я возвращаю в базы данных шоу:

Код: Выделить всё

+------------+
|databaseName|
+------------+
|     default|
+------------+

но на самом деле у меня есть еще одна база данных, это прямой запрос в Hive:


Я не уверен, настраиваю ли я SparkSession правильно. Я все еще пытаюсь создать SparkSession без какой-либо настройки, но поведение у него такое же. есть ли у кого-нибудь идеи, как я могу подключиться к базам данных, которые я уже создал? Версия Spark, которую я использую, — 2.4.7, а среда, в которой я работаю, — это виртуальная машина с установленным сервером Ubuntu.

Подробнее здесь: https://stackoverflow.com/questions/792 ... -with-hive