Polars (Python) не может прочитать символ Юникода U+2019 ⇐ Python

[Anonymous]

У меня есть файл JSON, который я пытаюсь прочитать в кадре данных Polars, но постоянно получаю сообщение об ошибке. Мне удалось привязать это к конкретному персонажу, но я не знаю, что с этим делать. Файл JSON больше, но вот файл, урезанный до одной пары ключей:

Код: Выделить всё

[
{
"questionId": 123,
"question": "I’m sorry to hear that"
}
]

И вот где я пытаюсь прочитать и проанализировать это:

Код: Выделить всё

df = pl.read_json('file.json', infer_schema_length=None)

Что выдает это сообщение об ошибке: Polars.Exceptions.ComputeError: InvalidUtf8 в символе 0
Когда я меняю

Код: Выделить всё

’

символ на обычный ключевой символ ', тогда он нормально считывает содержимое файла, поэтому я думаю, что это символ.
Как мне прочитать содержимое в Polars? Вероятно, возникнут проблемы с загрузкой в базу данных?
Шестнадцатеричный дамп:
5B 0A 20 20 7B 0A 20 20 20 20 22 71 75 65 73 74 69 6F 6E 49 64 22 3A 20 39 32 34 36 37 2C 0A 20 20 20 20 22 71 75 65 73 74 69 6F 6E 22 3A 20 22 49 2019 6D 20 73 6F 72 72 79 20 74 6F 20 68 65 61 72 20 74 68 61 74 20 79 6F 75 20 77 65 72 65 20 6E 6F 74 20 73 61 74 69 73 66 69 65 64 20 77 69 74 68 20 79 6F 75 72 20 5B 5B 45 4E 54 45 52 20 50 52 4F 44 55 43 54 20 4E 41 4D 45 20 48 45 52 45 5D 5D 20 2E 20 20 43 61 6E 20 79 6F 75 20 70 72 6F 76 69 64 65 20 75 73 20 73 6F 6D 65 20 64 65 74 61 69 6C 73 20 61 62 6F 75 74 20 77 68 79 20 79 6F 75 20 77 65 72 65 20 6E 6F 74 20 73 61 74 69 73 66 69 65 64 3F 22 0A 20 20 7D 0A 5D

Подробнее здесь: https://stackoverflow.com/questions/798 ... cter-u2019