У меня есть задание Python AWS Glue, которое объединяет две таблицы Aurora и записывает/поглощает выходные данные в корзину s3 в формате json. Работа работает нормально, как и ожидалось. По умолчанию выходной файл записывается в корзину s3 в этом формате/шаблоне имени «run-123456789-part-r-00000» [За сценой это выполняющийся код pyspark в кластере Hadoop, поэтому имя файла похоже на Hadoop]< /p>
Теперь мой вопрос: как написать файл с определенным именем, например «Customer_Transaction.json», вместо «run-***-part****»< /p>
Я попробовал преобразовать в DataFrame, а затем записать в формате JSON, как показано ниже, но не помогло
customerDF.repartition (1).write.mode("overwrite").json("s3://bucket/aws-glue/Customer_Transaction.json")
Подробнее здесь: https://stackoverflow.com/questions/501 ... cific-name
