Как прочитать и выполнить файл hql (запрос куста) и создать фрейм данных pyspark ⇐ Python

[Гость]

У меня есть файл .hql. Мне нужно прочитать и выполнить запрос, чтобы создать кадр данных из результата запроса. У меня есть код ниже

def read_and_exec_hql(hql_file_path): с open(hql_file_path, 'r') как f: hql_query = f.read().strip() запросы = [q.strip() для q в hql_query.splitlines(), если q.strip(), а не q.startswith('--')] дф = нет для запроса в запросах: если df равен None: df = spark.sql(запрос) еще: df = df.union(spark.sql(запрос)) возврат DF hql_file_path = 'путь/к/hql/файлу' df = read_and_exec_hql(hql_file_path) df.show() За это я получаю Py4JJavaError.

Есть ли другой подход к чтению и выполнению файлов hql в pyspark. Пожалуйста, дайте мне знать. Заранее спасибо