Необходимо исправить проблему с часовым поясом для моего задания по обработке Python, Pyspark. ⇐ Python

[Anonymous]

У меня есть столбец базы данных в Postgres Aurora «last_updated_timestamp», который не имеет часового пояса и имеет значение «2024-08-01 00:00:00»
Я получаю это значение с помощью pyspark df, когда делаю df.show ()
Показывает то же значение:
2024-08-01 00:00:00.
Для моего варианта использования у меня есть функция write_df_to_delta_table(), которая записывает этот df в озеро данных AWS S3 в виде дельта-таблицы в формате паркета.
Когда я загружаю этот файл паркета и просматриваю его с помощью плагина просмотра Avro и Parquet в Pycharm, он отображается как
2024-07-31T18:30:00Z[UTC]
В моем случае использования я хочу, чтобы оно отображалось как
2024-08-01 00:00:00 [PST].
Я не хочу менять конфигурацию моего сеанса Spark, поскольку это может повлиять на другие мои процессы.
Я попробовал реализовать ниже код:

Код: Выделить всё

df = df.withColumn( "updated_timestamp_pst",  from_utc_timestamp(col("updated_timestamp"), "PST") )

Но теперь оно отображается как:
2024-08-01T00:00:00Z[UTC]
который неприемлемо.
Я хочу, чтобы это было только в формате PST, но с тем же значением метки времени.

Подробнее здесь: https://stackoverflow.com/questions/790 ... essing-job