Ошибка PySpark tz_localize_to_utc: NonExistentTimeError ⇐ Python

[Anonymous]

Мой код Glue PySpark не работает из-за проблемы с датой:

Код: Выделить всё

pytz.exceptions.NonExistentTimeError: 2024-03-31 01:15:00
pytz.exceptions.NonExistentTimeError: 2023-03-26 01:03:00

Фрагмент кода:

Код: Выделить всё

spark.conf.set("spark.sql.session.timeZone", "Europe/London")

final_data_renamed = (
final_data.transform(
rename_columns(
suffix=f"{args.}_abc_{args.}w",
)
).withColumn("datetimeiso", col("datetimeiso").cast("string")).withColumn(date_col, col(date_col).cast("timestamp"))
)

final_data_renamed.write.mode("overwrite").option("overwriteSchema", "true").format("parquet").save(
file_path,
header=True,
)

Мне не удается понять, почему возникает ошибка NonExistentTimeError.
Большое спасибо за любые подсказки по этому поводу!>

Подробнее здесь: https://stackoverflow.com/questions/790 ... ttimeerror