Запомнить состояние LSTM для следующего пакета (LSTM с сохранением состояния). ⇐ Python

[Anonymous]

При наличии обученной модели LSTM я хочу выполнить вывод для отдельных временных шагов, т. е. seq_length = 1 в примере ниже. После каждого временного шага внутренние состояния LSTM (память и скрытое) необходимо запомнить для следующей «партии». В самом начале вывода внутренние состояния LSTM init_c, init_h вычисляются с учетом входных данных. Затем они сохраняются в объекте LSTMStateTuple, который передается в LSTM. Во время обучения это состояние обновляется на каждом временном шаге. Однако для вывода я хочу, чтобы состояние сохранялось между пакетами, т. е. начальные состояния нужно вычислять только в самом начале, а после этого состояния LSTM должны сохраняться после каждого «пакета» (n = 1).
Я нашел этот связанный вопрос StackOverflow: Tensorflow, лучший способ сохранить состояние в RNN? Однако это работает только в том случае, если state_is_tuple=False, но TensorFlow скоро упразднит такое поведение (см. rnn_cell.py). Кажется, у Keras есть хорошая оболочка, позволяющая реализовать stateful LSTM, но я не знаю лучшего способа добиться этого в TensorFlow. Эта проблема на GitHub TensorFlow также связана с моим вопросом: https://github.com/tensorflow/tensorflow/issues/2838
Есть ли хорошие предложения по созданию модели LSTM с сохранением состояния?
inputs = tf.placeholder(tf.float32, shape=[None, seq_length, 84, 84], name="inputs")
targets = tf.placeholder(tf.float32, shape=[None, seq_length], name="targets")

num_lstm_layers = 2

with tf.variable_scope("LSTM") as scope:

lstm_cell = tf.nn.rnn_cell.LSTMCell(512, initializer=initializer, state_is_tuple=True)
self.lstm = tf.nn.rnn_cell.MultiRNNCell([lstm_cell] * num_lstm_layers, state_is_tuple=True)

init_c = # compute initial LSTM memory state using contents in placeholder 'inputs'
init_h = # compute initial LSTM hidden state using contents in placeholder 'inputs'
self.state = [tf.nn.rnn_cell.LSTMStateTuple(init_c, init_h)] * num_lstm_layers

outputs = []

for step in range(seq_length):

if step != 0:
scope.reuse_variables()

# CNN features, as input for LSTM
x_t = # ...

# LSTM step through time
output, self.state = self.lstm(x_t, self.state)
outputs.append(output)


Подробнее здесь: https://stackoverflow.com/questions/382 ... teful-lstm