Создать Kedro PartitionedDataset из PartitionedDatasets. ⇐ Python

[Anonymous]

Я работаю над проектом kedro, где я хочу автоматически маркировать тысячи аудиофайлов, применять к ним преобразования, а затем сохранять их в папке из папок, каждая подпапка соответствует одной метке. Я хочу, чтобы эта папка папок была записью каталога в моем файле yml.
Я следовал этому руководству Kedro и создал свой собственный набор данных для сохранения/загрузки файлов .wav в каталоге kedro. Я также могу создавать записи каталога PartitionedDataset в файлеcatalog.yml, например

Код: Выделить всё

audio_folder:
type: partitions.PartitionedDataset
dataset: my_kedro_project.datasets.audio_dataset.SoundDataset
path: data/output/audios/
filename_suffix: ".WAV"

для сохранения/загрузки папок с файлами .WAV в каталоге Kedro.
Следующий уровень абстракции, который мне потребуется, — это возможность создать запись каталога, соответствующая папке, содержащей папки, такие как audio_folder выше. Я хочу делать это не путем динамического создания записей каталога, а путем расширения класса PartitionedDataset. Это потому, что я хочу, чтобы папка папок была частью моего каталога.yml. Мои вопросы:

• Возможно ли это? Кто-нибудь из вас когда-нибудь пробовал что-то подобное?
• Если это возможно, мой собственный класс должен включать только _load, _save и _describe, как при настройке AbstractDataset?

Спасибо за помощь

Подробнее здесь: https://stackoverflow.com/questions/790 ... eddatasets