Pyspark по умолчанию обрезает все поля при записи в csv в python ⇐ Python

[Anonymous]

Я пытаюсь записать набор данных в файл csv, используя код spark 3.3, Scala 2 python и по умолчанию обрезая все строковые поля. Например, для значений столбца ниже:
" Text123"," jacob "

вывод в формате csv:
"Text123","jacob"

Я не хочу обрезать какие-либо строковые поля.
Ниже приведен мой код:
args = getResolvedOptions(sys.argv, ['target_BucketName', 'JOB_NAME'])
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

# Convert DynamicFrame to DataFrame
df_app = AWSGlueDataCatalog_node.toDF()

# Repartition the DataFrame to control output files APP
df_repartitioned_app = df_app.repartition(10)

# Check for empty partitions and write only if data is present
if not df_repartitioned_app.rdd.isEmpty():
df_repartitioned_app.write.format("csv") \
.option("compression", "gzip") \
.option("header", "true") \
.option("delimiter", "|") \
.save(output_path_app)


Подробнее здесь: https://stackoverflow.com/questions/791 ... -in-python