Разделение данных обучения ИИ для снижения нагрузки на компьютер ⇐ Python

[Anonymous]

Я пытаюсь обучить классификатор изображений, но изображений много, и у моего компьютера возникают проблемы с выделением для него оперативной памяти. Я получаю эту ошибку
numpy._core._exceptions.MemoryError: Unable to allocate 14.0 GiB for an array with shape (25000, 224, 224, 3) and data type float32

for categopry_index, category in enumerate(categories):
for file in os.listdir(os.path.join(input, category)):
img_path = os.path.join(input,category, file)
image = cv2.imread(img_path)
image = cv2.resize(image, (224,224))
image = image/255
data.append(image)
labels.append(categopry_index)

data = np.asarray(data, dtype='float32') / 255
labels = np.asarray(labels, dtype='float32')

x_train, x_test, y_train, y_test = train_test_split(data, labels, test_size=0.2, shuffle=True, stratify=labels)
model = tf.keras.models.Sequential()
model.add(tf.keras.layers.Input(shape=x_train.shape[1:]))
model.add(tf.keras.layers.Flatten())
model.add(tf.keras.layers.Dense(512,activation = 'sigmoid'))
model.add(tf.keras.layers.Dense(512,activation = 'sigmoid'))
model.add(tf.keras.layers.Dense(1, activation='sigmoid'))


Подробнее здесь: https://stackoverflow.com/questions/792 ... n-computer