Существует ли инструмент командной строки для чтения количества строк и столбцов файла перьев?Python

Программы на Python
Anonymous
Существует ли инструмент командной строки для чтения количества строк и столбцов файла перьев?

Сообщение Anonymous »

Я работаю над проектом, который генерирует много данных, и каждый месяц процесс записывает CSV-файл с более чем 6 миллионами записей, а затем преобразует его в перьевой файл.
Необходимо проверить количество записей в файле перьев и сравните его с соответствующим файлом CSV.
Я искал и не нашел инструмента командной строки для чтения метаданных файла перьев, в чтобы узнать количество строк и столбцов.
Самое близкое решение — создать сценарий на Python + Pandas для чтения файла как кадра данных Pandas и выполнить df.shape.
Но мои файлы перьев содержат около 6–10 миллионов записей, и загрузка файла перьев в фрейм данных и машину, на которой я должен его протестировать, занимает много времени. не имеет большого количества памяти и вычислительной мощности.

Код: Выделить всё

import pandas as pd

filename = "jan_records.feather"
df = pd.read_feather(filename)
df.shape
Я ценю любую помощь в этом вопросе.

Подробнее здесь: https://stackoverflow.com/questions/761 ... eather-fil

Вернуться в «Python»