Как выполнить хранимую процедуру в Azure Databricks PySpark? ⇐ Python

[Anonymous]

Я могу выполнить простой оператор SQL с помощью PySpark в Azure Databricks, но вместо этого я хочу выполнить хранимую процедуру. Ниже приведен код PySpark, который я пробовал.

Код: Выделить всё

#initialize pyspark
import findspark
findspark.init('C:\Spark\spark-2.4.5-bin-hadoop2.7')
#import required modules
from pyspark import SparkConf, SparkContext
from pyspark.sql import SparkSession
from pyspark.sql import *
import pandas as pd

#Create spark configuration object
conf = SparkConf()
conf.setMaster("local").setAppName("My app")
#Create spark context and sparksession
sc = SparkContext.getOrCreate(conf=conf)
spark = SparkSession(sc)

table = "dbo.test"
#read table data into a spark dataframe
jdbcDF = spark.read.format("jdbc") \
.option("url", f"jdbc:sqlserver://localhost:1433;databaseName=Demo;integratedSecurity=true;") \
.option("dbtable", table) \
.option("driver", "com.microsoft.sqlserver.jdbc.SQLServerDriver") \
.load()

#show the data loaded into dataframe
#jdbcDF.show()
sqlQueries="execute testJoin"
resultDF=spark.sql(sqlQueries)
resultDF.show(resultDF.count(),False)

Это не работает — как это сделать?

Подробнее здесь: https://stackoverflow.com/questions/603 ... ks-pyspark