Как загрузить файл CSV в PySpark, сопоставив имена столбцов со схемой? ⇐ Python

[Anonymous]

Я загружаю несколько файлов CSV с помощью Python Spark. Ниже приведен код:

Код: Выделить всё

spark.read.format("csv").option("header", 'true').schema(table_schema).load(file_path)

В этом коде я явно указываю table_schema во время загрузки. Однако моя проблема заключается в том, что DataFrame создается на основе порядка столбцов вместо сравнения имен столбцов в схеме и фактическом файле CSV.
Есть ли способ загрузки CSV-файлы в DataFrame, сопоставляя имена столбцов в table_schema со строкой заголовка CSV-файла?

Подробнее здесь: https://stackoverflow.com/questions/787 ... the-schema