Я нашел в разделе «Можно ли заморозить только определенные веса внедрения в слое внедрения в pytorch?» хороший способ заморозить только некоторые индексы слоя внедрения.
Однако, включая его в модель BERT, я не могу найти способ связать эти внедрения. Может ли кто-нибудь мне помочь?
HF Transformers использует копию весов слоя внедрения в матрице декодера. Однако это невозможно сделать, если мой слой внедрения представляет собой nn.Module, а не nn.Embedding. Замена уровня декодера пользовательским модулем не приводит к транспозиции весов.
Подробнее здесь: https://stackoverflow.com/questions/790 ... embeddings
