Как лучше всего прочитать несколько файлов JSON в каталоге S3, а затем загрузить их в таблицу MySQL? ⇐ Python

[Anonymous]

У меня есть папка S3 с файлом json 40k++, где каждый из файлов имеет следующий формат:

Код: Выделить всё

[{"AAA": "XXXX", "BBB": "XXXX", "CCC": "XXXX"}]

Моя цель — прочитать эти файлы json (в одной папке S3), объединить их в одну структурированную таблицу, возможно, для выполнения некоторого преобразования данных, а затем загрузите их в таблицу MySQL. Этот процесс, вероятно, потребуется запускать еженедельно.

Есть ли более быстрый способ выполнить ETL для такого типа источника данных? Буду признателен, если у вас есть какие-либо реальные рекомендации. Большое спасибо!

Пытался прочитать каждый файл json через boto3 с помощью чего-то вроде 'obj.get()['Body'].read()' (в Python), однако перебор всех файлов занял у меня несколько часов.

Подробнее здесь: https://stackoverflow.com/questions/571 ... -then-load