Как загрузить процент данных в объект при использовании функции load_dataset ⇐ Python
-
Anonymous
Как загрузить процент данных в объект при использовании функции load_dataset
Я пытался загрузить набор данных шарад, который представляет собой огромный набор видеоданных, в моем блокноте Colab. Я попытался разрезать набор данных, но набор данных все еще огромен. Судя по ошибке, похоже, что даже после нарезки все данные загружаются в объект набора данных. Как я могу загрузить половину данных в объект набора данных или есть ли другой способ, чтобы у меня не было проблем с памятью?
dataset = load_dataset('HuggingFaceM4/charades', Split='test[:10%]')
Ошибка ОС: недостаточно места на диске. Необходимо: 54,78 ГиБ (загрузка: 54,77 ГиБ, сгенерировано: 6,77 МБ, постобработка: неизвестный размер)
Я пытался загрузить набор данных шарад, который представляет собой огромный набор видеоданных, в моем блокноте Colab. Я попытался разрезать набор данных, но набор данных все еще огромен. Судя по ошибке, похоже, что даже после нарезки все данные загружаются в объект набора данных. Как я могу загрузить половину данных в объект набора данных или есть ли другой способ, чтобы у меня не было проблем с памятью?
dataset = load_dataset('HuggingFaceM4/charades', Split='test[:10%]')
Ошибка ОС: недостаточно места на диске. Необходимо: 54,78 ГиБ (загрузка: 54,77 ГиБ, сгенерировано: 6,77 МБ, постобработка: неизвестный размер)
