Мы мигрируем с Spark 2 на 3 в наших рабочих процессах, и одна проблема, которую, как мы замечаем, заключается в том, что паркетные файлы имеют несоответствие схемы для Maptype. Вот простой пример, чтобы проиллюстрировать случай < /p>
SparkSession sparkSession = SparkSession
.builder()
.master("local[*]")
.config("spark.sql.parquet.writeLegacyFormat", true)
.getOrCreate();
//Create struct
StructType schema = DataTypes.createStructType(new StructField[]{
DataTypes.createStructField("id", DataTypes.IntegerType, true),
DataTypes.createStructField("my_map_data", DataTypes.createMapType(DataTypes.StringType, DataTypes.StringType, Boolean.TRUE), true)
});
//Create sample data
List listRows = new ArrayList();
listRows.add(RowFactory.create(1, new HashMap() {{
put("key", "value");
}}));
//Create dataset
Dataset dataset = sparkSession.createDataFrame(listRows, schema);
//Write to parquet
dataset
.write()
.mode(SaveMode.Overwrite)
.parquet("spark_all_legacy_write_enabled");
< /code>
Мы запускаем вышеуказанный код с Spark 2.4, а затем в 3.5. Схема для типа карты в Spark 2.4 - < /p>
############ Column(key) ############
name: key
path: my_map_data.map.key
############ Column(value) ############
name: value
path: my_map_data.map.value
< /code>
Но в 3.5, это < /p>
############ Column(key) ############
name: key
path: my_map_data.key_value.key
############ Column(value) ############
name: value
path: my_map_data.key_value.value
< /code>
В Spark 2.4 схема имеет «карту», но в 3.5 схема имеет "key_value". Это заставляет нашу схему несоответствие. Есть ли способ, которым мы можем решить это? Я не могу найти никакой помощи в этом
Подробнее здесь: https://stackoverflow.com/questions/796 ... -migration
