Существует ли инструмент командной строки для чтения количества строк и столбцов файла перьев?Python

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 Существует ли инструмент командной строки для чтения количества строк и столбцов файла перьев?

Сообщение Anonymous »

Я работаю над проектом, который генерирует много данных, и каждый месяц процесс записывает CSV-файл с более чем 6 миллионами записей, а затем преобразует его в перьевой файл.
Необходимо проверить количество записей в файле перьев и сравните его с соответствующим файлом CSV.
Я искал и не нашел инструмента командной строки для чтения метаданных файла перьев, в чтобы узнать количество строк и столбцов.
Самое близкое решение — создать сценарий на Python + Pandas для чтения файла как кадра данных Pandas и выполнить df.shape.
Но мои файлы перьев содержат около 6–10 миллионов записей, и загрузка файла перьев в фрейм данных и машину, на которой я должен его протестировать, занимает много времени. не имеет большого количества памяти и вычислительной мощности.

Код: Выделить всё

import pandas as pd

filename = "jan_records.feather"
df = pd.read_feather(filename)
df.shape
Я ценю любую помощь в этом вопросе.

Подробнее здесь: https://stackoverflow.com/questions/761 ... eather-fil
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в «Python»