Как преобразовать фрейм данных PySpark Pandas в фрейм данных PySpark?Python

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 Как преобразовать фрейм данных PySpark Pandas в фрейм данных PySpark?

Сообщение Anonymous »

У меня есть набор данных, хранящийся в pyspark.pandas.frame.DataFrame, который я хочу преобразовать в pyspark.sql.DataFrame, прежде чем сохранять его в дельта-файл. Как это сделать правильно?
PS: Причина в том, что я хочу обеспечить соблюдение схемы при записи при сохранении ее в дельта-файле. Однако метод to_delta PySpark Panda, похоже, не принимает параметры схемы.
Заранее спасибо

Подробнее здесь: https://stackoverflow.com/questions/763 ... -dataframe
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в «Python»