Tensorflow.keras работает правильно только один раз ⇐ Python

[Anonymous]

Я использую Tensorflow.keras в ноутбуке Jupyter для производства нейронной сети в соответствии с некоторыми данными реального мира. В первый раз, когда я запускаю свой код, он работает правильно. Нейронная сеть дает модель в соответствии с данными реального мира. Проблема в том, что если я попытаюсь запустить его снова, она не может генерировать какие -либо новые модели. По какой -то причине он не может найти модели, которые совпадают, хотя во время первого пробега он легко нашла много. Я не получаю сообщения об ошибках или что -то в этом роде. Код работает так же, как и раньше, и пытается найти нейронную сеть, подходящую для данных данных, но не может их найти, независимо от того, насколько низко я установил критерий успеха ('nse_cut' в коде ниже).
Чтобы заставить его создать новые модели, я должен перезагрузить ядро ​​ноутбука Jupyter, которое стирает все данные и обработку, которые я сделал до сих пор. Более проблематично, это означает, что я не могу сделать несколько моделей нейронной сети в одном и том же пробеге. Мне нужно иметь возможность выполнять несколько сетевых пробежек нейронных сети, чтобы я мог сравнить результаты и посмотреть, какие лучшие. Входные данные обрабатываются в различной степени; Например, без сглаживания, крошечный сглаживание, немного более сглаживание, черт возьми сглаживания. Мне нужно сделать все это в одном и том же пробеге без необходимости перезагрузки ноутбука Юпитера.
Что я делаю не так? Это первый запуск? < /p>
Вот код: < /p>

Код: Выделить всё

### --- Calculate Neural Network fit for modes --- ###
def nn_fit(reof_ds, q, NSE_cut):
indx_qual_mode = []
best_model = []
best_score = []
best_nse = 0

# ----- Train Tensorflow Hydro-to-TPC models mode-by-mode -----
for mode in reof_ds.mode.values:
keras.backend.clear_session()
print('Building models for mode-'+str(mode).zfill(2))
tpc = reof_ds.temporal_modes.sel(mode=int(mode))

X = q.values.reshape(len(q),1)
Y = tpc.values.reshape(len(q),1)

X_train = X
Y_train = Y

# -- adapt function is to get the mean and STD used to normalize the input data of the model --
normalizer.adapt(X_train)

# ----- Construct the model and get summary -----
model = build_and_compile_model(normalizer)
#if vis_tf_nn==0:
#elif vis_tf_nn==1:
#  plot_model(model, to_file='NOAA_WF\\hydro2rtpc_mdl\\'+data_src+'\\site-'+str(gaugeID_list[site])+'_tpc'+str(mode+1).zfill(2)+'.png', show_shapes=True, show_layer_names=True)

# ----- Fit the model -----
train_proc = model.fit(
X_train,
Y_train,
callbacks=[callback],
batch_size=32,
epochs=200,
verbose=0,
#validation_split=0.2
)

# ----- Plot model estimation and original scatter plot -----
X_sim = tf.linspace(np.amin(X), np.amax(X), X.size*10^10)
Y_sim = model.predict(X_sim)

# ----- The second-time REOF mode screening based on quality of regression models. If qualified, export trained model -----
Y_mdl = model.predict(X[:,0])
nse = 1 - ( (np.nansum(np.square( Y - Y_mdl ))) / (np.nansum(np.square( Y - np.nanmean(Y) ))) )

if nse >= NSE_cut: # Moriasi et al., 2007.  Consider NSE>0.5 as satisfactory

model.summary()
print(mode, nse)

# ----- Plot training progress -----
plot_loss(train_proc)

best_nse = nse
best_score.append(best_nse)
best_model.append(model)
indx_qual_mode.append(mode)

fig = plt.figure()
ax = fig.add_axes([0,0,1,1])
plt.scatter(X, Y)
plt.plot(X_sim, Y_sim, color='r')
plt.xlabel('discharge (m3/d)')
plt.ylabel(f"mode {mode}")
plt.xticks(rotation=45, ha='right')
plt.yticks(rotation=45)
plt.legend(['NN-Model','Data'],loc='upper left')
plt.text(0.2,0.5,'NSE: '+"{:.2f}".format(nse), transform=ax.transAxes)
plt.savefig('test.png', dpi=300, bbox_inches='tight')
plt.show()

# ----- Export trained model -----
#best_model.save('test.keras')
# ADDED by Knicely
del Y_mdl, X_sim, Y_sim, X, Y, X_train, Y_train, train_proc, model
keras.backend.clear_session()

return(best_model, indx_qual_mode)
< /code>
reof_ds

содержит пространственные и временные моды из вращающейся эмпирической ортогональной функции.

Подробнее здесь: https://stackoverflow.com/questions/793 ... ectly-once