Кто-нибудь знает точные ограничения хранилища или обходной путь для запуска больших наборов данных в экземплярах Google Python

Программы на Python
Ответить
Anonymous
 Кто-нибудь знает точные ограничения хранилища или обходной путь для запуска больших наборов данных в экземплярах Google

Сообщение Anonymous »

Я пытаюсь работать с набором данных NIH Chest X-ray 14 (сжатый ~ 42 ГБ). В стандартном экземпляре T4 Colab предоставляет примерно 74 ГБ дискового пространства. Однако во время процесса извлечения мне сразу же не хватает места. Это говорит о том, что общего доступного хранилища недостаточно для одновременного хранения файла .zip и несжатых изображений.
Кто-нибудь нашел способ выполнить извлечение в потоковом режиме или обойти это ограничение на диск без обновления до Colab Pro+, или существует ли специальная конфигурация для увеличения размера временного раздела?

Подробнее здесь: https://stackoverflow.com/questions/798 ... -large-dat
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»