Как записать вывод файла AWS Glue под определенное имя ⇐ Python

[Anonymous]

У меня есть задание aws Glue Python, которое объединяет две таблицы Aurora и записывает/принимает выходные данные в корзину s3 в формате json. Работа работает нормально, как и ожидалось. По умолчанию выходной файл записывается в корзину s3 в формате/шаблоне этого имени "run-123456789-part-r-00000" [За сценой выполняется код pyspark в кластере Hadoop, поэтому имя файла похоже на Hadoop]

Теперь мой вопрос заключается в том, как написать файл с определенным именем, например "Customer_Transaction.json", а не "run-***-part****"

Я попробовал преобразовать в DataFrame, а затем записать в формате JSON, как показано ниже, но не помогло

customerDF.repartition(1).write.mode("overwrite").json("s3://bucket/aws-glue/Customer_Transaction.json")

Подробнее здесь: https://stackoverflow.com/questions/501 ... cific-name