Ошибка Spark SQL Java, кодирующая результат объединения двух наборов данных с использованием полей структуры ⇐ JAVA

[Anonymous]

У меня есть два набора данных: Dataset и Dataset, которые я хочу объединить в Dataset, где C — класс

Код: Выделить всё

class C {
A a;
B b;
}

Я присоединился к ним вот так

Код: Выделить всё

Dataset joinedRecords =
A_records
.as("A")
.join(
B_records.as("B"),
functions
.col("A.uuid")
.equalTo(functions.col("B.uuid")),
"inner")
.withColumn("a", functions.struct("A.*"))
.withColumn("b", functions.struct("B.*"))
.select(
functions.col("a"), functions.col("b"))
.as(Encoders.bean(C.class));

Но я получаю эту ошибку (может отображаться только из-за конфиденциальности), когда собираю набор данных

Код: Выделить всё

Error while decoding: java.lang.IllegalArgumentException: argument type mismatch
initializejavabean(newInstance(class

Кто-нибудь заметил что-то не так с тем, как я кодирую? Я удалил кодировку, и она работает со строкой

Подробнее здесь: https://stackoverflow.com/questions/792 ... -struct-fi