Добавление блока внимания в проблему глубокой нейронной сети для проблемы регрессии ⇐ Python

[Anonymous]

Я хочу добавить tf.keras.layers.MultiHeadAttention внутри двух слоев нейронной сети. Однако я получаю IndexError:
Подробный код следующий
x1 = Dense(58, activation='relu')(x1)
x1 = Dropout(0.1)(x1)
print(x1.shape)
attention = tf.keras.layers.MultiHeadAttention(num_heads=2, key_dim=58,
dropout=0.1,output_shape=x1.shape)(x1,x1)

x1 = Dropout(0.2)(attention)
x1 = Dense(59, activation='relu')(x1)
output = Dense(1, activation='linear')(x1)`
model = tf.keras.models.Model(inputs=input1, outputs=output)

В приведенном выше коде появляется следующая ошибка
IndexError: Exception encountered when calling layer 'softmax' (type Softmax).

tuple index out of range

Call arguments received by layer 'softmax' (type Softmax):
• inputs=tf.Tensor(shape=(None, 2), dtype=float32)
• mask=None
Note that
`x1.shape`= (None, 58)


Подробнее здесь: https://stackoverflow.com/questions/778 ... on-problem