У меня есть набор данных, хранящийся в pyspark.pandas.frame.DataFrame, который я хочу преобразовать в pyspark.sql.DataFrame, прежде чем сохранять его в дельта-файл. Как это сделать правильно?
PS: Причина в том, что я хочу обеспечить соблюдение схемы при записи при сохранении ее в дельта-файле. Однако метод to_delta PySpark Panda, похоже, не принимает параметры схемы.
Заранее спасибо
Подробнее здесь: https://stackoverflow.com/questions/763 ... -dataframe
Как преобразовать фрейм данных PySpark Pandas в фрейм данных PySpark? ⇐ Python
-
- Похожие темы
- Ответы
- Просмотры
- Последнее сообщение
-
-
Как эффективно преобразовать фрейм данных в желаемый новый фрейм данных?
Anonymous » » в форуме Python - 0 Ответы
- 45 Просмотры
-
Последнее сообщение Anonymous
-
-
-
Как разделить фрейм данных pyspark, взяв часть данных для каждого идентификатора
Anonymous » » в форуме Python - 0 Ответы
- 12 Просмотры
-
Последнее сообщение Anonymous
-