Схема силы Pyspark при чтении паркета ⇐ Python

[Anonymous]

У меня есть источник паркета со столбцом «Год» такой же длины, и я указал его как int в своей таблице. При чтении паркета я указываю схему таблицы, чтобы заставить ее работать, но вместо этого выдает ошибку.

Код: Выделить всё

df = (
spark
.read
.schema(spark.table(f'{CATALOG_NAME}.{BRONZE_SCHEMA}.{SLA_TARGET}').schema)
.parquet(RAW_EXTERNAL_LOCATION_PATH + f"/{SLA_TARGET}/{SLA_TARGET}.parquet")
)

Выдает ошибку

Код: Выделить всё

SchemaColumnConvertNotSupportedException: column: [Year], physicalType: INT64, logicalType: int

Я не хочу читать, а затем транслировать. Почему он не может принудительно бросить колонну? Я использую Databricks — 14.3LTS, Spark — 3.5.0
Я не думаю, что нам нужно делать VectorizedReader ложным, потому что, согласно этому блогу это требуется для десятичных типов, а не для других. Но даже если я сделаю spark.conf.set("spark.sql.parquet.enableVectorizedReader","false"), он не сможет правильно прочитать файл паркета и выдаст ошибку - FileReadException: ошибка при чтении файла abfss:REDACTED_LOCAL_PART@satrinitydevgfsst01.dfs.core.windows.net/gfs_reporting_raw/sla_target/sla_target.parquet. Возможная причина: невозможно переоборудовать паркетную колонну. Вызвано: ParquetDecodingException: невозможно прочитать значение 1 в блоке 0 в файле abfss:/...

Подробнее здесь: https://stackoverflow.com/questions/791 ... ng-parquet