Почему выходные данные Dataframe отличаются от динамических фреймов в aws Glue? ⇐ Python

[Anonymous]

Я использую Dataframe pyspark:
Вот пример:

Код: Выделить всё

Dataframe write:

df.write.mode("overwrite").parquet("s3://your-bucket/dataframe-output/")

Dynamicframe write:

from awsglue.dynamicframe import DynamicFrame

dynamic_df = DynamicFrame.fromDF(df, glueContext, "dynamic_df")

glueContext.write_dynamic_frame.from_options(

frame=dynamic_df,

connection_type="s3",

connection_options={"path": "s3://your-bucket/dynamicframe-output/"},

format="parquet"

)

Проблема: количество строк в этих выходных данных различается.


Подробнее здесь: https://stackoverflow.com/questions/791 ... -in-aws-gl