Почему мы изменяем ключ, запрос и тензоры ценностей в многоуровневом внимании? ⇐ Python

[Anonymous]

В моей реализации многоуровневого внимания у меня есть их в __init __ ()

Код: Выделить всё

class MultiHeadAttentionLayer(nn.Module):
def __init__(self,d_in,d_out,context_length,dropout,num_heads,use_bias=False):
super().__init__()
self.d_out=d_out
self.num_heads=num_heads
# In multi-head attention, the output dimension (d_out) is split across multiple attention heads.
# Each head processes a portion of the total output dimensions independently before being concatenated back together.
self.head_dim=d_out//num_heads
self.query_weight = nn.Linear(d_in, d_out, bias=use_bias)
self.key_weight = nn.Linear(d_in, d_out, bias=use_bias)
self.value_weight = nn.Linear(d_in, d_out, bias=use_bias)
< /code>
Это метод прямого < /p>
def forward(self,x):
batch_size,sequence_length,d_in=x.shape
keys=self.key_weight(x)
queries=self.query_weight(x)
values=self.value_weight(x)
# RESHAPING
# .view() is a PyTorch tensor method that reshapes a tensor without changing its underlying data. It returns a new tensor with the same data but in a different shape.
keys=keys.view(batch_size,sequence_length,self.num_heads,self.head_dim)
values=values.view(batch_size,sequence_length,self.num_heads,self.head_dim)
queries=queries.view(batch_size,sequence_length,self.num_heads,self.head_dim)

Я понимаю, что d_out разделен на несколько голов внимания, но я не совсем уверен, почему это изменение необходимо. Как добавление num_heads в качестве нового измерения влияет на вычисление внимания, и что произойдет, если мы пропустим этот шаг и сохранили форму как «batch_size, sequence_length, d_in»

Подробнее здесь: https://stackoverflow.com/questions/795 ... -attention