Как обрабатывать ячейку с запятой при использовании pd.read_csv? Ошибка токенизации данных. Ошибка C: ожидалось 1 поле в ⇐ Python

[Anonymous]

Я читаю набор файлов .csv и добавляю их в один гигантский фрейм данных под названием «df», но в некоторых файлах постоянно появляется ошибка: Ошибка токенизации данных. Ошибка C: ожидалось 1 поле в строке 88, было 2
Я действительно понял, что, вероятно, было причиной этого: CSV-файлы, которые я читаю, являются результатом формы подписки на рассылку новостей, и есть столбец, в котором люди указывают, в каком городе они живут. Однако некоторые пользователи ставят здесь запятую (например, «Эль-Пасо, Техас» вместо просто «Эль-Пасо»).
Есть ли способ справиться с этим с помощью команды .read_csv, не требующий простого пропуска строки? Эта ошибка возникала примерно дюжину раз в примерно 35 таблицах, которые я объединяю, поэтому теоретически я мог бы изменить таблицы вручную, но я пытаюсь понять, как я мог бы справиться с этим в будущем с помощью новых таблиц.
Для справки, вот мой код для добавления электронных таблиц в фрейм данных.
for spreadsheet in os.listdir(path):
file_name = path + '/' + spreadsheet

if file_name[-3:] == "csv":
try:
temp = pd.read_csv(path + '/' + spreadsheet, encoding='utf-16')
df = pd.concat([df, temp])
except pd.errors.ParserError as e:
print('Something went wrong with' + file_name + f"error: {e}")
else: continue


Подробнее здесь: https://stackoverflow.com/questions/790 ... -data-c-er