Как реализовать устаревшую двухуровневую структуру списка Parquet на C#C#

Место общения программистов C#
Ответить
Anonymous
 Как реализовать устаревшую двухуровневую структуру списка Parquet на C#

Сообщение Anonymous »

Мне нужно создать файл паркета со столбцом, определенным следующим образом:

Код: Выделить всё

String List
element UTF-8 byte-array STRING
Я использую parquet.net Nuget в коде для создания файла посредством сериализации классов.
Когда я определил это в коде как свойство

Код: Выделить всё

public class A
{
string[] STRING {get; set;}
}
Результирующий столбец отображается на 2 уровня ниже.

Код: Выделить всё

String List
group list
element UTF-8 byte-array STRING
Похоже, это соответствует последней версии стандарта, которая рекомендует использовать трехуровневые структуры, чтобы избежать двусмысленности.
К сожалению, поскольку мы взаимодействуем с внешней устаревшей системой, я не могу изменить формат.
Добавление устаревшего атрибута Parquet приводит к тому, что свойство отображается как повторяемое.
При просмотре на одном из других parquet-viewers отображает схему, определенную в

JSON, следующим образом:

Код: Выделить всё

"GroupType": {
"field_info": {
"name": "String",
"repetition": "Required",
"id": null
},
"logical_type": "List",
"converted_type": "List",
"fields": [
{
"GroupType" : {
"field_info": {
"name": "list",
"repetition": "Repeated",
"id": null
},
"logical_type": null,
"converted_type": null,
"fields": [
{
"PrimitiveType": {
"field_info": {
"name": "array",
"repetition": "Required",
"id": null
},
"logical_type": "String",
"converted_type": "Utf-8",
"physical_type": "ByteArray"
}
},
]
}
},
]
}
Я хотел бы получить следующую схему:

Код: Выделить всё

"Group_type": {
"field_info": {
"name": "String",
"repetition": "Optional",
"id": null
},
"logical_type": "List",
"converted_type": "List",
"fields": [
{
"PrimitiveType": {
"field_info": {
"name": "array",
"repetition": "Repeated",
"id": null
},
"logical_type": "String",
"converted_type": "Utf-8",
"physical_type": "ByteArray"
}
}
]
}

Код: Выделить всё

var listOfA =[new A{String=["item1"]}];
var schema = ParquetSerializer.SerializeAsync(listOfA).GetAwaiter().GetResults();
Изменение свойства array на List не дало никаких результатов, поскольку кажется, что библиотека обрабатывает их как IEnumerable.
Каким будет правильное определение ожидаемого свойства в C#?

Подробнее здесь: https://stackoverflow.com/questions/798 ... in-c-sharp
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «C#»