Я работаю над сценарием, чтобы превратить некоторые файлы данных value в JSON для облегчения манипулирования. Некоторые из этих файлов довольно большие, размеры более 300 МБ. Я написал анализатор, который преобразует эти файлы данных в списки и , и сохраняет их как JSON. Этот процесс работает безупречно, и в результате я получаю объект данных. Но, любопытно, он никогда не останавливается самостоятельно, и создает огромный файл JSON, который даже превышал 4GB и все еще продолжал расти. И это только для файла данных 80mb .
Я также хотел бы отметить, что прямое сохранение объекта данных с fp.write () не вызывает его. Для объекта данных 80 МБ я получаю только файл со скоростью 90 МБ. Хотя я не могу поделиться файлами данных, вот код, который я использую для сохранения объекта данных: < /p>
Код: Выделить всё
res = parse(data_sth_etc)
with open(path + ".json", "w") as fp:
json.dump(res, fp)
# fp.write(str(res))
< /code>
Как вы можете видеть, нет ничего особенного, чтобы сохранить объект данных. А поскольку fp.write ()
не приводит к массовым файлам, я почти уверен, что в моем объекте данных также нет проблем. Итак, какова может быть причина этой проблемы?
Подробнее здесь:
https://stackoverflow.com/questions/794 ... -json-dump
Мобильная версия