Чтение CSV со столбцом отметки времени эпохи в качестве отметки времени.Python

Программы на Python
Anonymous
Чтение CSV со столбцом отметки времени эпохи в качестве отметки времени.

Сообщение Anonymous »

Я использую pyarrow.csv для чтения и преобразования файла CSV в паркет. В этом CSV-файле есть столбец timestamp, в котором int представляет время Unix.
Тем не менее, он читает его как int64, и если я попытаюсь использовать Convertoptions, возникает ошибка:
import pyarrow as pa
import pyarrow.csv as pv

table = pv.read_csv("file.csv", convert_options=pv.ConvertOptions(
column_types={
'timestamp': pa.timestamp('s'),
}
))

При этом возникает следующая ошибка:
ArrowInvalid: In CSV column #1: CSV conversion error to timestamp: invalid value '1705173443'


Подробнее здесь: https://stackoverflow.com/questions/787 ... -timestamp

Вернуться в «Python»