Pandas завершает работу при попытке прочитать многострочную ячейку ⇐ Python

[Anonymous]

У меня есть набор файлов TSV, которые заполняются путем сериализации кадров данных pandas, созданных на основе ответов, которые я получаю при запросе к большой базе данных с помощью GraphQL. В ответе, который я получаю, есть поле, в котором размещаются списки, даже если в большинстве случаев они содержат один элемент. Когда pandas.read_csv находит строку/ячейку, содержащую список с несколькими элементами для поля, происходит ошибка сегмента. Благодаря некоторой отладке я смог увидеть, что о неисправной ячейке сообщается как многострочная:

Код: Выделить всё

pandas.errors.ParserError
Error tokenizing data. C error: Expected 1 fields in line 41, saw 5')

и смог найти проблемную строку. Поле содержит список из 5 элементов. Независимо от того, содержит ли ячейка список из одного элемента или список из нескольких элементов, я не форматирую их каким-либо другим способом (по крайней мере, явно, при создании кадра данных для сериализации ответа от GraphQL):


Я попробовал несколько разных вещей, чтобы справиться с проблема: попытка/исключение все еще давала сбой, и установка параметра pandas.read_csv on_bad_lines, например, alert также допустил ошибку во фрагменте кода. Использование движка Python тоже не сработало (и я хотел воспользоваться преимуществами скорости C), и я не хотел добавлять новую зависимость с pyarrow.
В итоге я использовал параметр Converters в pandas.read_csv: https://github.com/nipreps/niquery/pull/28
Однако я не уверен в надежности решения (например, для другого набора столбцов требуется новое сопоставление, ячейки с проблемами, отличными от этой, также могут привести к остановке выполнения и т. д.).
Я что-то не понимаю или это можно улучшить?

Подробнее здесь: https://stackoverflow.com/questions/798 ... -line-cell