Правильный способ загрузки больших объемов данных изображения ⇐ Python

[Anonymous]

Для приложения глубокого обучения, которое я создаю, у меня есть набор данных, содержащий около 50 тысяч изображений в оттенках серого, размером от 3002 тысяч до 30010 тысяч пикселей. Загрузка всех этих данных в память невозможна, поэтому я ищу правильный способ обработки чтения случайных пакетов данных. Еще одна сложность заключается в том, что мне нужно знать ширину каждого изображения перед построением модели глубокого обучения, чтобы определить сегменты разных размеров в данных (например: [2k-4k, 4k-6k, 6k-8k, 8k). -10 тыс.].
В настоящее время я работаю с меньшим набором данных и просто загружаю каждое изображение из файла png, группирую их по размеру и начинаю учиться. Когда я хочу масштабировать, это. больше никогда возможно.
Для обучения модели каждый пакет данных должен (в идеале) быть полностью случайным из случайного сегмента. Наивный способ сделать это — заранее сохранить размеры изображений. и просто загружать каждый случайный пакет, когда это необходимо. Однако это приведет к большой дополнительной загрузке данных и не очень эффективному управлению памятью.
Как эффективно решить эту проблему?

Подробнее здесь: https://stackoverflow.com/questions/372 ... image-data