У меня есть задание aws Glue Python, которое объединяет две таблицы Aurora и записывает/принимает выходные данные в корзину s3 в формате json. Работа работает нормально, как и ожидалось. По умолчанию выходной файл записывается в корзину s3 в этом формате/шаблоне имени «run-123456789-part-r-00000» [За сценой выполняется код pyspark в кластере Hadoop, поэтому имя файла похоже на Hadoop]
Теперь мой вопрос заключается в том, как написать файл с определенным именем, например «Customer_Transaction.json», а не "run-***-part****"
Я попробовал преобразовать в DataFrame, а затем записать в формате JSON, как показано ниже, но не помогло
customerDF.repartition(1).write.mode("overwrite").json("s3://bucket/aws-glue/Customer_Transaction.json")
