Как использовать awswrangler для чтения только первых нескольких N строк файла паркета, хранящегося в S3?Python

Программы на Python
Ответить
Anonymous
 Как использовать awswrangler для чтения только первых нескольких N строк файла паркета, хранящегося в S3?

Сообщение Anonymous »

Я пытаюсь использовать awswrangler для чтения в кадре данных pandas файла паркета произвольного размера, хранящегося в S3, но ограничиваю свой запрос первыми строками N из-за размера файла (и плохой пропускной способности).
Я не понимаю, как это сделать и возможно ли это вообще без перемещения.
Могу ли я использовать chunked=INTEGER и прервать чтение первого фрагмента, скажем, и если да, то как?
Я столкнулся с этим неполным решением (последние N строк;)) с помощью pyarrow - прочитать последние N строк таблицы паркета S3 - но временной фильтр не был бы идеальным для меня, и принятое решение даже не доходит до конца истории (каким бы полезным оно ни было).
Или есть другой способ без предварительной загрузки файла (который я, вероятно, мог бы сделать) уже закончили)?
Спасибо!

Подробнее здесь: https://stackoverflow.com/questions/723 ... t-file-sto
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»