Попытка прочитать большой CSV с полярами ⇐ Python

[Anonymous]

Я пытаюсь прочитать большой файл (1,4 ГБ pandas не работает) с помощью следующего кода:

Код: Выделить всё

base = pl.read_csv(file, encoding='UTF-16BE', low_memory=False, use_pyarrow=True)
base.columns

Но в выводе все беспорядочно, между каждой буквой много символов os \x00.
Что я могу сделать, это меня убивает, ха-ха-ха
Я уже пробовал много кодировок, но ни одна из них не сработала.>

Подробнее здесь: https://stackoverflow.com/questions/760 ... ith-polars