Как обрабатывать противоречивые столбцы (неровные строки) в файле с разделителями с помощью Polars? ⇐ Python

[Anonymous]

Я работаю с устаревшей системой, которая генерирует файлы с разделителями (например, CSV), но количество столбцов в этих файлах неодинаково в разных строках (неравномерные строки). Я читаю файл из ADLS с помощью Polars, но столкнулся с проблемой, зависящей от структуры второй строки файла.
pl.read_csv('sample.csv', has_header=False, skip_rows=1, infer_schema=False, infer_schema_length=None, ignore_errors=True)

• Если во второй строке больше столбцов, чем в последующих строках, Polars успешно считывает файл и заполняет пропущенные значения в последующих строках нулями.< /li>
  Однако, если в последующих строках больше столбцов, чем во второй строке, я получаю следующее исключение

ComputeError: found more fields than defined in 'Schema' Consider setting 'truncate_ragged_lines=True'.
Есть ли способ динамически обрабатывать такие случаи в Polars или мне нужно предварительно обработать файл, чтобы исправить эти несоответствия перед чтением? Будем признательны за любые альтернативные подходы или решения этой проблемы!
Пример данных – сбой
ID,Name,Age
1,John,28
2,Jane,35,California,USA
3,Emily,22
4,Michael,40,Australia,Melbourne

Пример данных – успех
ID,Name,Age
2,Jane,35,California,USA
1,John,28
3,Emily,22
4,Michael,40,Australia,Melbourne


Подробнее здесь: https://stackoverflow.com/questions/793 ... sing-polar