Как загрузить таблицу блоков данных в блокнот блоков данных с помощью Fugue? ⇐ Python
-
Anonymous
Как загрузить таблицу блоков данных в блокнот блоков данных с помощью Fugue?
Я тестирую библиотеку Fugue, чтобы сравнить ее преимущества по сравнению с чисто PySpark, для которого я хотел бы иметь возможность тестировать различные операции исключительно с помощью Fugue.
Хотя я уже мог использовать Fugue для выполнения преобразований с применением функций Pandas, мне не удалось загрузить таблицу блоков данных непосредственно с помощью Fugue из записной книжки блоков данных. Как я мог это сделать?
Уточнения: я могу без проблем загрузить таблицу с помощью PySpark. Также я попробовал следовать документации (https://fugue-tutorials.readthedocs.io/ ... er/io.html) и попробовал использовать:
импортировать fugue.api как fa df = fa.load(f'{db_name_model_data}.{table_name_model_data}', engine=spark) Выход: NotImplementedError: .my_table_name не поддерживается Я тоже пробовал:
из fugue import FugueWorkflow, Schema, FugueSQLWorkflow # Определить рабочий процесс фуги с FugueWorkflow() как даг: # Загрузите таблицу из файла CSV (пример источника, замените на свой источник данных) df = dag.load(f'{db_name_model_data}.{table_name_model_data}') # Показать загруженный DataFrame df.show() даг.запуск() Я ожидаю, что любой тип DataFrame будет загружен в «df» напрямую с помощью Fugue
Я тестирую библиотеку Fugue, чтобы сравнить ее преимущества по сравнению с чисто PySpark, для которого я хотел бы иметь возможность тестировать различные операции исключительно с помощью Fugue.
Хотя я уже мог использовать Fugue для выполнения преобразований с применением функций Pandas, мне не удалось загрузить таблицу блоков данных непосредственно с помощью Fugue из записной книжки блоков данных. Как я мог это сделать?
Уточнения: я могу без проблем загрузить таблицу с помощью PySpark. Также я попробовал следовать документации (https://fugue-tutorials.readthedocs.io/ ... er/io.html) и попробовал использовать:
импортировать fugue.api как fa df = fa.load(f'{db_name_model_data}.{table_name_model_data}', engine=spark) Выход: NotImplementedError: .my_table_name не поддерживается Я тоже пробовал:
из fugue import FugueWorkflow, Schema, FugueSQLWorkflow # Определить рабочий процесс фуги с FugueWorkflow() как даг: # Загрузите таблицу из файла CSV (пример источника, замените на свой источник данных) df = dag.load(f'{db_name_model_data}.{table_name_model_data}') # Показать загруженный DataFrame df.show() даг.запуск() Я ожидаю, что любой тип DataFrame будет загружен в «df» напрямую с помощью Fugue
