Как прочитать имена некоторых файлов паркета в корзине Amazon? ⇐ Python

[Anonymous]

Я пытаюсь создать фрагмент кода, который сможет читать все файлы паркета или определенные имена файлов паркета с определенным префиксом в моем ведре S3. Это код, который я использую:

Код: Выделить всё

session = Session(aws_access_key_id=access_key_id, aws_secret_access_key=secret_access_key)
s3 = session.resource('s3',config=client_config)
my_bucket = s3.Bucket(bucket_name)

objects = []
if parquet_file_list:
for parquet_file_name in parquet_file_list:
object = my_bucket.objects.filter(Prefix=prefix+parquet_file_name)
objects.append(object)
else:
objects = my_bucket.objects.filter(Prefix=prefix)

for object in objects:

object_name = object.key
buffer = BytesIO()
object.Object().download_fileobj(buffer)

Я получаю сообщение об ошибке

не могу получить доступ к локальной переменной имя_объекта

когда я пытаюсь получить определенные файлы паркета. Когда я запускаю код для чтения всех файлов паркета, он работает. Может ли кто-нибудь мне помочь или подсказать, как этого добиться?

Подробнее здесь: https://stackoverflow.com/questions/787 ... zon-bucket