DataBricks Delta Live Tables Комментарии Комментарии для созданных столбцов file_path и last_modified_date ⇐ Python

[Anonymous]

Я вдал свою схему с < /p>
custom_schema = create_StructType_schema (access_key,secret_access_key,schema_bucket_name,schema_folder,schema_file_name)
metadata_fp = {"comment": "Path of the file from metadata (_metadata.file_path)"}
metadata_lmd = {"comment": "Ingestion timestamp for the current record"}

# Append fields with metadata to schema
custom_schema.add(StructField("file_path", StringType(), True, metadata_fp))
custom_schema.add(StructField("last_modified_date", TimestampType(), True, metadata_lmd))
< /code>
Это хорошо работает для всех столбцов, которые не являются file_path и last_modifed_date. Но когда я пытаюсь добавить custom_schema.ado любое из строк, я получаю дубликат предупреждения о столбце для file_path. Тем не менее, отбрасывание любого из рядов и UISNG WithColumn теряет комментарии метаданных. Я хотел знать, был ли какой -нибудь способ получить f.current_timestamp () и _metadata.file_path с комментариями на их столбцах для таблицы Delta Live в DataBricks < /p>
dfRaw=spark.readStream.format("cloudFiles").option("cloudFiles.format",file_format).option("recursiveFileLookup","true").option("cloudFiles.allowOverwrites", True).option("delimiter",file_delimiter).option("multiline","true").option("header",file_header).schema(custom_schema).load(location).select("*", "_metadata.file_path").withColumn("last_modified_date",F.current_timestamp())```

I have tried to add structfields to the schema and dropping the columns and readding them but nothing keeps the metadata comments.


Подробнее здесь: https://stackoverflow.com/questions/796 ... e-path-and