Как прочитать файл Parquet в Pandas DataFrame?Python

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 Как прочитать файл Parquet в Pandas DataFrame?

Сообщение Anonymous »


Как прочитать набор данных Parquet небольшого размера в фрейм данных Pandas в памяти без настройки инфраструктуры кластерных вычислений, такой как Hadoop или Spark? Это лишь умеренный объем данных, который я хотел бы прочитать в памяти с помощью простого скрипта Python на ноутбуке. Данные не хранятся в HDFS. Он находится либо в локальной файловой системе, либо, возможно, в S3. Я не хочу запускать и настраивать другие службы, такие как Hadoop, Hive или Spark.

Я думал, что Blaze/Odo сделал бы это возможным: в документации Odo упоминается Parquet, но похоже, что все примеры выполняются через внешнюю среду выполнения Hive.
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в «Python»