Вычислительная сложность преобразователя зрения ⇐ Python

[Anonymous]

Я прошу разъяснений относительно вычислительной сложности Vision Transformers (ViT), особенно в отношении таких компонентов, как многоголовое самообслуживание (MSA), блоки MLP, LayerNorm (LN) и остаточные соединения, применяемые после каждого блока. Несмотря на просмотр многочисленных исследовательских работ и ресурсов, мне было сложно дать четкое и упрощенное объяснение того, как вычисляется и рассчитывается вычислительная сложность этих компонентов. Может ли кто-нибудь любезно дать более подробное и доступное объяснение этой темы? Заранее благодарю за помощь.
Я пытался понять, как рассчитать сложность вычислений ViT, но запутался. Я ожидаю объяснения частей сложности вычислений ViT, образующих встраивание патчей в блок MLP.

Подробнее здесь: https://stackoverflow.com/questions/791 ... ransformer