DataBricks Delta Live Tables Комментарии Комментарии для созданных столбцов file_path и last_modified_date ⇐ Python

[Anonymous]

Я вдал свою схему с < /p>

Код: Выделить всё

custom_schema = create_StructType_schema (access_key,secret_access_key,schema_bucket_name,schema_folder,schema_file_name)
metadata_fp = {"comment": "Path of the file from metadata (_metadata.file_path)"}
metadata_lmd = {"comment": "Ingestion timestamp for the current record"}

# Append fields with metadata to schema
custom_schema.add(StructField("file_path", StringType(), True, metadata_fp))
custom_schema.add(StructField("last_modified_date", TimestampType(), True, metadata_lmd))

Это хорошо работает для всех столбцов, которые не являются file_path и last_modifed_date . Но когда я пытаюсь добавить custom_schema.add Любое из строк, я получаю дубликатное предупреждение о столбце для file_path. Тем не менее, сброс любого из рядов и использование с Column теряет метаданные комментариев. Я хотел знать, был ли какой-нибудь способ получить f.current_timestamp () и _metadata.file_path с комментариями к их столбцам для таблицы Delta Live в
DataBricks

Код: Выделить всё

dfRaw=spark.readStream.format("cloudFiles").option("cloudFiles.format",file_format).option("recursiveFileLookup","true").option("cloudFiles.allowOverwrites", True).option("delimiter",file_delimiter).option("multiline","true").option("header",file_header).schema(custom_schema).load(location).select("*", "_metadata.file_path").withColumn("last_modified_date",F.current_timestamp())

Я попытался добавить Structfields в схему, сбросить столбцы и считывать их, но ничто не хранит комментарии метаданных.


Подробнее здесь: https://stackoverflow.com/questions/796 ... e-path-and