Не могу прочитать файл паркета с помощью поляров, а pyarrow может ⇐ Python

[Anonymous]

Я получаю исключение dtype

Код: Выделить всё

pyo3_runtime.PanicException: Arrow datatype Map(Field { name: "key_value", dtype: LargeList(Field { name: "key_value", dtype: Struct([Field { name: "key", dtype: Utf8View, is_nullable: false, metadata: None }, Field { name: "value", dtype: Int64, is_nullable: true, metadata: None }]), is_nullable: true, metadata: None }), is_nullable: true, metadata: None }, false) not supported by Polars. You probably need to activate that data-type feature.

Я могу прочитать его, если установил use_pyarrow=True, но мне нужно использовать отложенный режим.
У меня много файлов, поэтому мой обходной путь заключался в том, чтобы прочитать каждый файл в активном режиме с помощью механизма pyarrow и сохранить его снова.
Я попробовал использовать набор данных pyarrow и scan_pyarrow_dataset, но безуспешно.
Любая помощь будет оценена

Подробнее здесь: https://stackoverflow.com/questions/794 ... yarrow-can