Удаление сообщения во время выполнения функции — Spark ⇐ Python

[Anonymous]

Я пытаюсь запустить некоторые функции для своих конвейеров ETL и зарегистрировать их в процессе. Проблема в том, что когда я вызываю свою функцию, мое сообщение журнала отображается мгновенно, я хочу отображать его во время выполнения. >
Это пример моей работы:

Код: Выделить всё

def ReadDataframe(path=None, format="parquet") -> DataFrame:

if not isinstance(path, str) or not path:
raise ValueError(logging.error("** LOAD ** : The 'path' parameter must be a non-empty string."))

try:
df = spark.read.format(format).load(path)
logging.info("** LOAD ** : Data from path %s was successfully loaded into a DataFrame", path)
return df

except AnalysisException as e:
logging.error("** LOAD ** : Error loading data into DataFrame. AnalysisException: %s", e)
raise

except Exception as e:
logging.error("** LOAD ** : An unexpected error occurred while loading data into DataFrame: %s", e)
raise

Но когда я вызываю функцию:

Код: Выделить всё

df = ReadDataframe(path=path)

Мгновенно отображается сообщение журнала:

"** LOAD ** : Данные из пути %s успешно загружен в DataFrame"

Мне нужно отображать журнал при выполнении ленивого кода:

Код: Выделить всё

df.show()

Можно ли как-нибудь этого добиться? Или какой-то другой подход к моей проблеме?

Подробнее здесь: https://stackoverflow.com/questions/787 ... time-spark