Преобразование объекта MLtable в фрейм данных pyspark ⇐ Python
-
Anonymous
Преобразование объекта MLtable в фрейм данных pyspark
У меня есть ресурс данных в Машинном обучении Azure. Я хочу преобразовать его в фрейм данных Pyspark. На вкладке потребления ресурса данных я получаю код для преобразования его в фрейм данных Pandas. Однако эти данные огромны (более 1 ТБ), поэтому они не поместятся в фрейм данных Pandas.
Это код, который я использую:
импортировать таблицу ml из azure.ai.ml импортировать MLClient из azure.identity импортировать DefaultAzureCredential ml_client = MLClient.from_config(credential=DefaultAzureCredential()) data_asset = ml_client.data.get("data_asset_name", version="1") tbl = mltable.load(data_asset.path) df = tbl.to_pandas_dataframe() дф Функция
to_pandas_dataframe()
Преобразует MLTable в фрейм данных pandas.
Есть ли какая-либо функция/способ, с помощью которой я мог бы преобразовать его в фрейм данных pyspark?
У меня есть ресурс данных в Машинном обучении Azure. Я хочу преобразовать его в фрейм данных Pyspark. На вкладке потребления ресурса данных я получаю код для преобразования его в фрейм данных Pandas. Однако эти данные огромны (более 1 ТБ), поэтому они не поместятся в фрейм данных Pandas.
Это код, который я использую:
импортировать таблицу ml из azure.ai.ml импортировать MLClient из azure.identity импортировать DefaultAzureCredential ml_client = MLClient.from_config(credential=DefaultAzureCredential()) data_asset = ml_client.data.get("data_asset_name", version="1") tbl = mltable.load(data_asset.path) df = tbl.to_pandas_dataframe() дф Функция
to_pandas_dataframe()
Преобразует MLTable в фрейм данных pandas.
Есть ли какая-либо функция/способ, с помощью которой я мог бы преобразовать его в фрейм данных pyspark?
