Память выделения Tensorflow: выделение 38535168 превышает 10% системной памяти.Python

Программы на Python
Ответить
Anonymous
 Память выделения Tensorflow: выделение 38535168 превышает 10% системной памяти.

Сообщение Anonymous »

Используя предварительно обученные веса ResNet50, я пытаюсь создать классификатор. База кода полностью реализована в высокоуровневом API Tensorflow Keras. Полный код опубликован по ссылке GitHub ниже.
Исходный код: классификация с использованием архитектуры RestNet50
Размер файла предварительно обученной модели составляет 94,7 МБ.
Я загрузил предварительно обученный файл

Код: Выделить всё

new_model = Sequential()

new_model.add(ResNet50(include_top=False,
pooling='avg',
weights=resnet_weight_paths))
и соответствовать модели

Код: Выделить всё

train_generator = data_generator.flow_from_directory(
'path_to_the_training_set',
target_size = (IMG_SIZE,IMG_SIZE),
batch_size = 12,
class_mode = 'categorical'
)

validation_generator = data_generator.flow_from_directory(
'path_to_the_validation_set',
target_size = (IMG_SIZE,IMG_SIZE),
class_mode = 'categorical'
)

#compile the model

new_model.fit_generator(
train_generator,
steps_per_epoch = 3,
validation_data = validation_generator,
validation_steps = 1
)
а в наборе данных обучения у меня есть две папки «собака» и «кошка», каждая из которых содержит почти 10 000 изображений. Когда я скомпилировал скрипт, я получаю следующую ошибку

Эпоха 1/1 2018-05-12 13:04:45.847298: W
tensorflow /core/framework/allocator.cc:101] Выделение 38535168
превышает 10 % системной памяти. 2018-05-12 13:04:46.845021: W
tensorflow/core/framework/allocator.cc:101] Выделение 37171200
превышает 10% системной памяти. 2018-05-12 13:04:47.552176: W
tensorflow/core/framework/allocator.cc:101] Выделение 37171200
превышает 10% системной памяти. 2018-05-12 13:04:48.199240: W
tensorflow/core/framework/allocator.cc:101] Выделение 37171200
превышает 10% системной памяти. 2018-05-12 13:04:48.918930: W
tensorflow/core/framework/allocator.cc:101] Выделение 37171200
превышает 10% системной памяти. 2018-05-12 13:04:49.274137: W
tensorflow/core/framework/allocator.cc:101] Выделение 19267584
превышает 10% системной памяти. 2018-05-12 13:04:49.647061: W
tensorflow/core/framework/allocator.cc:101] Выделение 19267584
превышает 10% системной памяти. 2018-05-12 13:04:50.028839: W
tensorflow/core/framework/allocator.cc:101] Выделение 19267584
превышает 10% системной памяти. 2018-05-12 13:04:50.413735: W
tensorflow/core/framework/allocator.cc:101] Выделение 19267584
превышает 10% системной памяти.

Есть идеи по оптимизации способа загрузки предварительно обученной модели (или) избавиться от этого предупреждающего сообщения?
Спасибо!

Подробнее здесь: https://stackoverflow.com/questions/503 ... stem-memor
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»