Я запускаю сценарий Python в данных Databricks, который передает данные из таблицы (доступный через каталог данных Databricks и хранится в ведре S3) в базу данных MySQL в AWS. < /p>
Таблица имеет 14 миллиардов строк (~ 100 ГБ данных). Я пробовал перераспределение и писатель в свой БД с помощью JDBC, но работа работает в течение нескольких часов (15 часов и до сих пор не сделана). Я попробовал пройти через файл и вставить с оператором SQL. Сейчас я пытаюсь использовать данные загрузки, но преобразование паркетного файла в CSV является проблемой (заканчивается на дисковом пространстве).
Подробнее здесь: https://stackoverflow.com/questions/795 ... l-database
