Ведение журнала приложений в Executor/Worker с использованием записных книжек Python Azure Databricks. ⇐ Python

[Anonymous]

Я использую Azure Databricks для создания и запуска конвейеров ETL. Для разработки используются блокноты Databricks (Python). Моя цель — просмотреть журналы приложений через пользовательский интерфейс Spark для кодов, работающих как на драйвере, так и на исполнителях.
Изначально у меня возникла проблема с просмотром журналов исполнителя, но, как описано здесь https://kb .databricks.com/clusters/set-executor-log-level.html, я могу просматривать журналы приложений, помещенные в код, выполняющийся на рабочих узлах(

Код: Выделить всё

executors

), например forEach/

Код: Выделить всё

forEachPartitions

.
Как написано в приведенной выше ссылке, нам нужно установить уровень журнала на всех исполнителях. Означает ли это, что нам нужно установить уровень журнала внутри каждого кода/метода, предназначенного для запуска на рабочих узлах, как показано ниже. Так что мне придется устанавливать уровень журналирования в каждом методе, что я считаю излишним и этого следует избегать.

Код: Выделить всё

 def doSomething():
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
## some operation

df.forEach(lambda x: doSomething())

Чтобы установить уровень журнала для всех исполнителей, вы должны установить его внутри JVM
для каждого работника.

Есть ли лучший способ избежать постоянной настройки уровня журнала?

Подробнее здесь: https://stackoverflow.com/questions/791 ... -notebooks