Как преобразовать каталог S3 как OS.Path в Python с Boto3? ⇐ Python

[Anonymous]

Я хочу использовать ImageFolder из Torchvision с ведром AWS S3, где у меня содержится мой набор данных, однако, для этого требуется файл OS.path, и с Boto3, я могу просто получить каталог или список, который не разрешен ImageFolder. Вы знаете, как я могу получить каталог S3 в качестве OS.Path в Python с Boto3 или аналогичной стратегией? < /P>
Я загружаю свой набор данных следующим образом: < /p>
# Initialize S3 client
s3 = boto3.client('s3')
response_test = s3.list_objects_v2(Bucket=BUCKET_NAME_test, Prefix=PREFIX_test)
jpg_files_test = [item['Key'] for item in response_test.get('Contents', []) if item['Key'].lower().endswith('.jpeg')]
< /code>
и использование этого кода для загрузки данных с помощью Torchvision: < /p>
transform_train = transforms.Compose([
transforms.RandomResizedCrop(args.input_size, scale=(0.2, 1.0), interpolation=3), # 3 is bicubic
transforms.RandomHorizontalFlip(),
transforms.ToTensor(),
transforms.Normalize(mean=[0.10231429, 0.18161748, 0.26542443], std=[0.06512465, 0.10374635, 0.16232868])])
dataset_train = datasets.ImageFolder(os.path.join(args.data_path, 'train'), transform=transform_train) # 'train'
print(dataset_train)
< /code>
Но, как ожидается, я получаю эту ошибку: < /p>
TypeError: expected str, bytes or os.PathLike object, not list


Подробнее здесь: https://stackoverflow.com/questions/796 ... with-boto3