Проблемы с подключением к Infor Data Lake с использованием Spark JDBC в Azure Synapse Spark Notebook ⇐ Python

[Anonymous]

Я столкнулся с трудностями при попытке подключиться к Infor Data Lake с помощью Spark JDBC в Azure Synapse. Несмотря на настройку необходимого драйвера JDBC и пути к файлу ionapi, я постоянно сталкиваюсь со следующей ошибкой:

Py4JJavaError: произошла ошибка при вызове o3997.jdbc.
: java.lang.RuntimeException: Ошибка JDBC 100
Невозможно подключиться. Файл Infor Compass JDBC Driver.ionapi не найден. Файл должен находиться в папке, содержащей JAR-файл драйвера Compass JDBC.

Детали настройки:
I я инициализировал сеанс Spark в Azure Synapse с помощью необходимого драйвера JDBC и указал путь к файлу ionapi с помощью spark.jars.
Файл ionapi хранится в Azure Data Lake Storage (ADLS), и я убедился, что путь правильно указан в свойствах соединения JDBC.
Фрагмент кода:

Код: Выделить всё

%%configure -f

{

"conf": {

"spark.jars": "abfss://container@datalake_name.dfs.core.windows.net/infor-compass-jdbc-2023.10.jar",

}

}

storage_account_name = "**"

container_name = "**"

jdbc_jar_path = f"abfss://{container_name}@{storage_account_name}.dfs.core.windows.net/path_to_jdbc_driver/infor-compass-jdbc-2023.10.jar"

ionapi_file_path = f"abfss://{container_name}@{storage_account_name}.dfs.core.windows.net/path_to_ionapi_file/Infor Compass JDBC Driver.ionapi"

spark = SparkSession.builder \

.appName("InforDataLakeConnection") \

.config("spark.jars", jdbc_jar_path) \

.getOrCreate()

jdbc_url = "jdbc:infordatalake://your_infordatalake_endpoint"

jdbc_properties = {

"user": "**",

"password": "**",

"driver": "com.infor.idl.jdbc.Driver",

"ionapi": ionapi_file_path
}

table_name = "table_name"

df = spark.read.jdbc(url=jdbc_url, table=table_name, properties=jdbc_properties)

df.show()

Анализ ошибок: я проверил, что ionapi_file_path правильно указывает на расположение файла ionapi в ADLS. Ключ учетной записи хранения, используемый в spark.conf.set, соответствует правильной учетной записи хранения ADLS.
Как правильно настроить путь к файлу ionapi или любые дополнительные параметры, необходимые для успешного подключения к Infor Data Lake с помощью Spark JDBC в Azure Synapse?
Пытаетесь подключиться к infor datalake с помощью блокнота pyspark в Synapse Analytics.
Обнаружены проблемы, поскольку код не может прочитать файл ionapi для получения учетных данных.

Подробнее здесь: https://stackoverflow.com/questions/787 ... -spark-not