Как передать 2D Mask Mask to Huggingface Bertmodel? ⇐ Python

[Anonymous]

Я хотел бы передать маску внимания направленного внимания Bertmodel.forward , чтобы я мог контролировать, какие токены могут видеть каждый токен во время самостоятельного присмотра. Эта матрица должна была быть 2D. < /P>
Вот пример с тремя идентификаторами ввода, где первые два жетона не могут посещать последнюю. Но последний может познакомиться со всеми токенами.torch.tensor([
[1, 1, 1]
[1, 1, 1]
[0, 0, 1]
])
< /code>
К сожалению, в документации ничего не упоминается о поддержке масок 2D внимания (или, скорее, 3D с партийным измерением). Можно пройти трехмерную маску внимания, но в моих экспериментах производительность модели не сильно изменилась, независимо от того, как выглядела маска.
Это возможно, если да, то как?>

Подробнее здесь: https://stackoverflow.com/questions/752 ... -bertmodel