Я пытаюсь экспортировать данные таблицы (9 миллионов строк с данными по 40 ГБ) из обычного MySQL RDS в S3 с помощью Glue. Я тестирую это на меньшем экземпляре t3.medium. Это единственное задание/запрос, выполняющийся в экземпляре БД.
Я вижу, что происходит WriteOps. При дальнейшем исследовании я вижу, что создаются временные таблицы, и их количество продолжает увеличиваться.
Одно из наблюдений заключается в том, что команда, которую выполнил Glue, имеет тип Execute, а не Query.
Запрос не имеет любое предложениеwhere/groupby/order.
Я пытаюсь выяснить, почему это происходит и как повлияет на производительность, если я запущу его на рабочем экземпляре.
Я Я провожу этот эксперимент по архивированию старых данных из разбитого на разделы стол. Идея состоит в том, чтобы создать таблицу, заменить на нее раздел, который нужно заархивировать, и запустить задание Glue, чтобы экспортировать заархивированную таблицу, а затем обрезать ее.
Пожалуйста, посоветуйте.
Подробнее здесь: https://stackoverflow.com/questions/793 ... -through-g
