Получите данные из базы данных MySQL и запустите их в pyspark. ⇐ Python
-
Гость
Получите данные из базы данных MySQL и запустите их в pyspark.
У меня есть таблица с именем xyz в базе данных mysql Aurora DB, которая имеет Table_Name, Table_ID,QuerySeq,sql_query,view_name.
Table_Name — имя таблицы Table_ID — уникальный идентификатор таблицы. Query Seq — последовательность запросов начинается с 1. Sql-запрос. Для каждого порядкового номера существует SQL-запрос, который необходимо выполнить. Имя представления – имя представления, которое необходимо создать после выполнения соответствующего запроса.
Теперь мне нужно прочитать эту таблицу из моей программы Pyspark. У меня есть все параметры подключения, и я смог установить соединение.
Моим требованием было бы написать функцию, которая принимает параметры table_id и table_type. Если table_type = 'pqr', мне нужно прочитать таблицу и последовательно запустить sql_query в зависимости от последовательности запросов. Если столбец «Просмотр» имеет значение Not Null, тогда мне нужно будет создать представление для запроса sql и сохранить его. Это должно происходить до тех пор, пока View не станет нулевым. Если View имеет значение Null, мне нужно добавить «INSERT OVERWRITE» к sql_query и выполнить то же самое. Если представление не «pqr», я бы вызвал другую функцию.
У меня есть таблица с именем xyz в базе данных mysql Aurora DB, которая имеет Table_Name, Table_ID,QuerySeq,sql_query,view_name.
Table_Name — имя таблицы Table_ID — уникальный идентификатор таблицы. Query Seq — последовательность запросов начинается с 1. Sql-запрос. Для каждого порядкового номера существует SQL-запрос, который необходимо выполнить. Имя представления – имя представления, которое необходимо создать после выполнения соответствующего запроса.
Теперь мне нужно прочитать эту таблицу из моей программы Pyspark. У меня есть все параметры подключения, и я смог установить соединение.
Моим требованием было бы написать функцию, которая принимает параметры table_id и table_type. Если table_type = 'pqr', мне нужно прочитать таблицу и последовательно запустить sql_query в зависимости от последовательности запросов. Если столбец «Просмотр» имеет значение Not Null, тогда мне нужно будет создать представление для запроса sql и сохранить его. Это должно происходить до тех пор, пока View не станет нулевым. Если View имеет значение Null, мне нужно добавить «INSERT OVERWRITE» к sql_query и выполнить то же самое. Если представление не «pqr», я бы вызвал другую функцию.
