У меня есть файл X.npy размером 11 ГБ, который я вообще не могу загрузить в память.
Форма X.npy – (18873, 224, 224, 3)
Теперь я хочу загрузить только несколько строк (скажем, 1024) (:1024, 224, 224, 3) из это. Как я мог сделать это, не загружая X.npy в свою оперативную память?
Я не нашел в np.load никаких параметров для достижения этой цели. Есть ли другой способ?
Думаю, это можно сделать с помощью np.memmap, но я остановился на параметре offset. Это действует странно. X.npy имеет dtype «float32».
Подробнее здесь: https://stackoverflow.com/questions/625 ... a-npy-file