Проблемы с реализацией глубокой рекуррентной нейронной сети (RNN) в TensorFlow ⇐ Android

[Anonymous]

Я столкнулся с трудностями при обучении глубокой рекуррентной нейронной сети (RNN) с использованием TensorFlow для проекта обработки естественного языка (NLP). Моя цель — создать связный текст на основе входного набора текстовых данных.

Вот фрагмент моей реализации:

`импортировать тензорный поток как tf
Определить архитектуру модели RNN
def build_rnn_model(): # Определим слой LSTM lstm_layer = tf.keras.layers.LSTM(units=256, return_sequences=True)

# Определите выходной слой выходной_слой = tf.keras.layers.Dense(vocabulary_size) # Объедините слои в последовательную модель модель = tf.keras.Sequential([lstm_layer, выходной_слой]) возвратная модель Инициализировать модель RNN rnn_model = build_rnn_model()
Скомпилируйте модель
rnn_model.compile(optimizer='adam', loss='sparse_categorical_crossentropy')`

Несмотря на все мои усилия, я столкнулся со следующими проблемами:

Расхождение при обучении: кажется, что потери при обучении быстро расходятся, а не стремятся к минимальному значению. Я экспериментировал с регулировкой скорости обучения и других гиперпараметров, но не смог стабилизировать процесс обучения. Генерация несвязного текста. При попытке сгенерировать текст из обученной модели сгенерированному тексту часто не хватает связности и правильной грамматической структуры. Это происходит даже после обширного обучения и настройки гиперпараметров. Я ищу передовые стратегии для решения этих проблем и повышения производительности и качества генерации текста с помощью RNN. Существуют ли конкретные методы предварительной обработки, сетевые архитектуры или методы регуляризации, которые могут быть полезны в этом контексте?

Любые идеи, советы или обмен опытом будут очень признательны за решение этих проблем и повышение эффективности моей реализации RNN с помощью TensorFlow для генерации текста.

Я столкнулся с трудностями при обучении глубокой рекуррентной нейронной сети (RNN) с использованием TensorFlow для проекта обработки естественного языка (NLP). Моя цель — создать связный текст на основе входного набора текстовых данных.