Как оптимизировать память при запросе и сохранении большого объема данных в S3 ⇐ Python

[Anonymous]

Я пытаюсь отправить запрос Athena с помощью boto3, получить значение из фрейма данных, а затем сохранить фрейм данных в S3.

Код: Выделить всё

from io import StringIO
import boto3
import awswrangler as wr

region = ""
access_key = ""
secret_key = ""
database = ""

s3 = boto3.resource(service_name='s3',
region_name=region,
aws_access_key_id = access_key,
aws_secret_access_key = secret_key)

sql = "SELECT * FROM tbl"
boto3.setup_default_session(region_name=region,aws_access_key_id=access_key, aws_secret_access_key=secret_key)
df = wr.athena.read_sql_query(sql=sql, database=database)
values = df['value'].unique() # get list of values from dataframe
csv_buffer = StringIO()
df.to_csv(csv_buffer, index=False)
s3.Object(s3_bucket_name, "s3://path/to/folder/values.csv").put(Body=csv_buffer.getvalue())

Какой был бы более эффективный способ прочитать фрейм данных и сохранить его в S3 для больших наборов данных? Я уже пробовал оптимизировать с помощью awswrangler вместо pd.read_csv(), что сначала помогло, но когда размер кадра данных превышает 700 МБ, это вызывает проблемы с памятью.

Подробнее здесь: https://stackoverflow.com/questions/792 ... rame-to-s3