Как получить все параметры в расширенной конфигурации для конвейера Databricks Delta Live Table? ⇐ Python

[Anonymous]

Я хотел бы получить список параметров, определенных в разделе конфигурации таблицы Delta Live


Используя язык Python для платформы Delta Live Table, если я знаю имя параметра, я могу получить его значение из конфигурации сеанса Spark, используя метод spark.conf.get(), как описано здесь
Я предположил, что список параметров, которые я ищу, должен быть предоставлен с помощью
(1) spark.sparkContext.getConf().getAll()
или
(2) spark.sparkContext ._conf.getAll().
Однако первый вариант вызывает исключение безопасности:

Код: Выделить всё

Py4JError: An error occurred while calling None.org.apache.spark.SparkConf. Trace:
py4j.security.Py4JSecurityException: Constructor public org.apache.spark.SparkConf(boolean) is not whitelisted.
at py4j.security.WhitelistingPy4JSecurityManager.checkConstructor(WhitelistingPy4JSecurityManager.java:451)

а второй предоставляет список без правильных параметров конфигурации, определенных в конвейере DLT.
Есть ли способ его найти?

Подробнее здесь: https://stackoverflow.com/questions/783 ... ta-live-ta