Как открыть файл .ndjson в Python? ⇐ Python

[Anonymous]

У меня есть файл .ndjson размером 20 ГБ, который я хочу открыть с помощью Python. Файл слишком большой, поэтому я нашел способ разделить его на 50 частей с помощью одного онлайн-инструмента. Это инструмент: https://pinetools.com/split-files
Теперь я получаю один файл с расширением .ndjson.000 (и Я не знаю, что это)
Я пытаюсь открыть его как json или как csv файл, прочитать в пандах, но не получается.
Делать у тебя есть идеи, как решить это?

Код: Выделить всё

import json
import pandas as pd

Первый подход:

Код: Выделить всё

df = pd.read_json('dump.ndjson.000', lines=True)

Ошибка: ValueError: Unmatched ''"' при декодировании "строки"
Второй подход:

Код: Выделить всё

with open('dump.ndjson.000', 'r') as f:

my_data = f.read()

print(my_data)

Ошибка: json.decoder.JSONDecodeError: незавершенная строка, начинающаяся с: строка 1, столбец 104925061 (символ 104925060)
Я думаю, что проблема в том, что в моем файле есть смайлы, поэтому я не знаю, как их закодировать?

Подробнее здесь: https://stackoverflow.com/questions/635 ... -in-python