Запись активности в MySQL при экспорте данных таблицы через GlueMySql

Форум по Mysql
Ответить Пред. темаСлед. тема
Anonymous
 Запись активности в MySQL при экспорте данных таблицы через Glue

Сообщение Anonymous »

Я пытаюсь экспортировать данные таблицы (9 миллионов строк с данными по 40 ГБ) из обычного MySQL RDS в S3 с помощью Glue. Я тестирую это на меньшем экземпляре t3.medium. Это единственное задание/запрос, выполняющийся в экземпляре БД.
Я вижу, что происходит WriteOps. При дальнейшем исследовании я вижу, что создаются временные таблицы, и их количество продолжает увеличиваться.
Одно из наблюдений заключается в том, что команда, которую выполнил Glue, имеет тип Execute, а не Query.
Запрос не имеет любое предложениеwhere/groupby/order.
Я пытаюсь выяснить, почему это происходит и как повлияет на производительность, если я запущу его на рабочем экземпляре.
Я также попробовал просто выполнить запрос как есть

Код: Выделить всё

mysql  -u admin -p -e "SELECT * FROM "  \
--batch --silent --quick | sed 's/\t/,/g' > output.csv
Это не вызвало никаких операций записи.
Я думал о работе склеивания, поскольку было бы проще записать в формате паркета в s3 для дальнейшего использования.
Но меня беспокоят ненужные WriteOps. Можете ли вы помочь мне понять, почему запрос задания Glue приводит к записи, а также правильно ли я использую подход к архивированию данных в S3?

Подробнее здесь: https://stackoverflow.com/questions/793 ... rough-glue
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение
  • Временные таблицы создаются постоянно при экспорте данных таблицы через Glue.
    Anonymous » » в форуме MySql
    0 Ответы
    15 Просмотры
    Последнее сообщение Anonymous
  • Временные таблицы создаются постоянно при экспорте данных таблицы через Glue
    Anonymous » » в форуме MySql
    0 Ответы
    14 Просмотры
    Последнее сообщение Anonymous
  • Получите имена столбцов таблицы MySQL из базы данных при экспорте в CSV
    Anonymous » » в форуме Php
    0 Ответы
    11 Просмотры
    Последнее сообщение Anonymous
  • Как удалить определенную запись из таблицы AWS Glue?
    Anonymous » » в форуме Python
    0 Ответы
    15 Просмотры
    Последнее сообщение Anonymous
  • Как удалить определенную запись из таблицы AWS Glue?
    Anonymous » » в форуме Python
    0 Ответы
    19 Просмотры
    Последнее сообщение Anonymous

Вернуться в «MySql»