Я пытаюсь использовать awswrangler для чтения в кадре данных pandas файла паркета произвольного размера, хранящегося в S3, но ограничиваю свой запрос первыми строками N из-за размера файла (и плохой пропускной способности).
Я не понимаю, как это сделать и возможно ли это вообще без перемещения.
Могу ли я использовать chunked=INTEGER и прервать чтение первого фрагмента, скажем, и если да, то как?
Я столкнулся с этим неполным решением (последние N строк;)) с помощью pyarrow - прочитать последние N строк таблицы паркета S3 - но временной фильтр не был бы идеальным для меня, и принятое решение даже не доходит до конца истории (каким бы полезным оно ни было).
Или есть другой способ без предварительной загрузки файла (который я, вероятно, мог бы сделать) уже закончили)?
Спасибо!
Подробнее здесь: https://stackoverflow.com/questions/723 ... t-file-sto
Как использовать awswrangler для чтения только первых нескольких N строк файла паркета, хранящегося в S3? ⇐ Python
Программы на Python
1763675287
Anonymous
Я пытаюсь использовать awswrangler для чтения в кадре данных pandas файла паркета произвольного размера, хранящегося в S3, но ограничиваю свой запрос первыми строками N из-за размера файла (и плохой пропускной способности).
Я не понимаю, как это сделать и возможно ли это вообще без перемещения.
Могу ли я использовать chunked=INTEGER и прервать чтение первого фрагмента, скажем, и если да, то как?
Я столкнулся с этим неполным решением (последние N строк;)) с помощью pyarrow - прочитать последние N строк таблицы паркета S3 - но временной фильтр не был бы идеальным для меня, и принятое решение даже не доходит до конца истории (каким бы полезным оно ни было).
Или есть другой способ без предварительной загрузки файла (который я, вероятно, мог бы сделать) уже закончили)?
Спасибо!
Подробнее здесь: [url]https://stackoverflow.com/questions/72377467/how-do-i-use-awswrangler-to-read-only-the-first-few-n-rows-of-a-parquet-file-sto[/url]
Ответить
1 сообщение
• Страница 1 из 1
Перейти
- Кемерово-IT
- ↳ Javascript
- ↳ C#
- ↳ JAVA
- ↳ Elasticsearch aggregation
- ↳ Python
- ↳ Php
- ↳ Android
- ↳ Html
- ↳ Jquery
- ↳ C++
- ↳ IOS
- ↳ CSS
- ↳ Excel
- ↳ Linux
- ↳ Apache
- ↳ MySql
- Детский мир
- Для души
- ↳ Музыкальные инструменты даром
- ↳ Печатная продукция даром
- Внешняя красота и здоровье
- ↳ Одежда и обувь для взрослых даром
- ↳ Товары для здоровья
- ↳ Физкультура и спорт
- Техника - даром!
- ↳ Автомобилистам
- ↳ Компьютерная техника
- ↳ Плиты: газовые и электрические
- ↳ Холодильники
- ↳ Стиральные машины
- ↳ Телевизоры
- ↳ Телефоны, смартфоны, плашеты
- ↳ Швейные машинки
- ↳ Прочая электроника и техника
- ↳ Фототехника
- Ремонт и интерьер
- ↳ Стройматериалы, инструмент
- ↳ Мебель и предметы интерьера даром
- ↳ Cантехника
- Другие темы
- ↳ Разное даром
- ↳ Давай меняться!
- ↳ Отдам\возьму за копеечку
- ↳ Работа и подработка в Кемерове
- ↳ Давай с тобой поговорим...
Мобильная версия