Объект Java в кадре данных PySpark ⇐ JAVA

[Anonymous]

Я выполняю хранимую процедуру MySQL (код ниже) и пытаюсь преобразовать ее в фрейм данных pyspark.

Код: Выделить всё

driver_manager = spark._sc._gateway.jvm.java.sql.DriverManager
connection = driver_manager.getConnection(args["sql_server_jdbc_url"], database_username, database_user_password)

exec_statement = connection.prepareCall("EXEC SP")
exec_statement.execute()
result = exec_statement.getResultSet()
from pyspark.sql import SQLContext, DataFrame
sqlContext = SQLContext(sparkContext=spark.sparkContext, sparkSession=spark)
df = DataFrame(result, sqlContext)
df.printSchema()

df.printSchema не работает и выдает ошибку Py4JError: произошла ошибка при вызове o83.schema. Трассировка:
ищем указатели на то, как преобразовать результаты хранимой процедуры в фрейм данных pySpark.
Пробовал этот Pyspark Jupyter — фрейм данных, созданный в коде Java, а не в коде Python

Подробнее здесь: https://stackoverflow.com/questions/785 ... -dataframe