Необходимо проверить количество записей в файле перьев и сравните его с соответствующим файлом CSV.
Я искал и не нашел инструмента командной строки для чтения метаданных файла перьев, в чтобы узнать количество строк и столбцов.
Самое близкое решение — создать сценарий на Python + Pandas для чтения файла как кадра данных Pandas и выполнить df.shape.
Но мои файлы перьев содержат около 6–10 миллионов записей, и загрузка файла перьев в фрейм данных и машину, на которой я должен его протестировать, занимает много времени. не имеет большого количества памяти и вычислительной мощности.
Код: Выделить всё
import pandas as pd
filename = "jan_records.feather"
df = pd.read_feather(filename)
df.shape
Подробнее здесь: https://stackoverflow.com/questions/761 ... eather-fil