Настройка часового пояса для часового пояса для всех узлов в блоках данных без сценария инициализации. ⇐ Python

[Anonymous]

Я использовал этот вопрос, чтобы настроить часовой пояс pyspark, используя конфигурацию кластера с помощью

Код: Выделить всё

spark.sql.session.timeZone Asia/Hongkong

К сожалению, это не устанавливает часовой пояс для всех узлов, и поэтому вызов Pythons datetime.datetime.now() не будет включать часовой пояс, установленный в конфигурации сеанса Spark.
Databricks постепенно прекращает поддержку сценариев инициализации, поэтому я не могу использовать его для настройки часового пояса для всех узлов.
Как это можно сделать во время настройки искры?>

Подробнее здесь: https://stackoverflow.com/questions/784 ... nit-script