Я пытаюсь настроить модель facebook/wav2vec2 для автоматического распознавания речи (ASR) с общим набором голосовых данных, но столкнулся с проблемой: на моем диске недостаточно места для хранения этого большого набора данных размером 256 ГБ.Затем я попробовал разделить набор данных из datasets.load_dataset("mozilla-foundation/common_voice_16_0", "en", Split="train[:20%]"), но вместо при загрузке 20 процентов набора данных все равно загружался весь набор данных.
Я обнаружил аналогичную проблему, где Мохаммад ответил, что весь набор данных будет загружен независимо от аргумента среза, но его ответ был неверным. не подтверждено, поэтому я просто хочу спросить, действительно ли мы не можем загрузить только часть набора данных?
Подробнее здесь: https://stackoverflow.com/questions/779 ... m-huggingf
