Структура папок Amazon s3 и настройка сканера для создания таблицы с разделами ⇐ Python

[Anonymous]

У меня есть папка s3, созданная вручную с помощью сценария оболочки Python
Моя папка s3 выглядит так

Код: Выделить всё

s3://my_bucket/landing_zone/year=2024/month=10/day=01/sales/file.csv
s3://my_bucket/landing_zone/year=2024/month=10/day=01/account/file.csv

В качестве примера я привел две таблицы. У меня много таблиц по каждой дате (рассмотрим 10 таблиц для каждой даты).
Мне нужно настроить один сканер для сканировать все таблицы
В настоящее время я пытался создать искатель по этому пути

Код: Выделить всё

s3://my_bucket/landing_zone/

Он создал таблицы продаж, учетную запись, но разделы не распознаются.
В моем каталоге я ожидаю, что имя таблицы будет последним имя папки, например продажи, учетная запись и другие пары ключевых значений в виде разделов (год, месяц, дата)
Я не могу изменить структуру папок, но если нет решений, дайте мне папку, которой я должен следовать .
Это достижимо и как?
Спасибо за решения.

Подробнее здесь: https://stackoverflow.com/questions/791 ... partitions