Почему выходные данные Dataframe отличаются от динамических фреймов в aws Glue?Python

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 Почему выходные данные Dataframe отличаются от динамических фреймов в aws Glue?

Сообщение Anonymous »

Я использую Dataframe pyspark:
Вот пример:

Код: Выделить всё

Dataframe write:

df.write.mode("overwrite").parquet("s3://your-bucket/dataframe-output/")

Dynamicframe write:

from awsglue.dynamicframe import DynamicFrame

dynamic_df = DynamicFrame.fromDF(df, glueContext, "dynamic_df")

glueContext.write_dynamic_frame.from_options(

frame=dynamic_df,

connection_type="s3",

connection_options={"path": "s3://your-bucket/dynamicframe-output/"},

format="parquet"

)
Проблема: количество строк в этих выходных данных различается.


Подробнее здесь: https://stackoverflow.com/questions/791 ... -in-aws-gl
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в «Python»