Потоковая передача в / поднимая CSV от S3 до Python ⇐ Python

[Anonymous]

Я намерен выполнить некоторые интенсивные операции памяти в очень большом файле CSV, хранящемся в S3, используя Python с намерением перенести скрипт в AWS Lambda. Я знаю, что могу прочитать во всей памяти CSV NTO, но я обязательно столкнусь с ограничениями памяти и хранения Lambda с такой большой FILEM, есть ли способ транслировать или просто читать в кусках CSV за раз в Python, используя BOTO3 /Botocore, в идеале, уделяя рецензирующие числа, чтобы прочитать? /> 1) Использование параметра диапазона в s3.get_object , чтобы указать диапазон байтов для чтения. К сожалению, это означает, что последние ряды отключаются в середине, так как нет способов указать количество рядов для чтения. это неуклюжие решения, если возможно. К сожалению, функция Row_numbers SQL не поддерживается, и не похоже, что есть способ прочитать в подмножестве строк.

Подробнее здесь: https://stackoverflow.com/questions/510 ... -to-python