Временные таблицы создаются постоянно при экспорте данных таблицы через Glue.MySql

Форум по Mysql
Ответить
Anonymous
 Временные таблицы создаются постоянно при экспорте данных таблицы через Glue.

Сообщение Anonymous »

Я пытаюсь экспортировать данные таблицы (9 миллионов строк с данными по 40 ГБ) из обычного MySQL RDS в S3 с помощью Glue. Я тестирую это на меньшем экземпляре t3.medium. Это единственное задание/запрос, выполняющийся в экземпляре БД.
Я вижу, что происходит WriteOps. При дальнейшем исследовании я вижу, что создаются временные таблицы, и их количество продолжает увеличиваться.
Одно из наблюдений заключается в том, что команда, которую выполнил Glue, имеет тип Execute, а не Query.
Запрос не имеет любое предложениеwhere/groupby/order.
Я пытаюсь выяснить, почему это происходит и как повлияет на производительность, если я запущу его на рабочем экземпляре.
Я Я провожу этот эксперимент по архивированию старых данных из разбитого на разделы стол. Идея состоит в том, чтобы создать таблицу, заменить на нее раздел, который нужно заархивировать, и запустить задание Glue, чтобы экспортировать заархивированную таблицу, а затем обрезать ее.
Пожалуйста, посоветуйте.

Подробнее здесь: https://stackoverflow.com/questions/793 ... -through-g
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «MySql»