Как отслеживать вес внимания модели трансформера с помощью Comet? ⇐ Python

[Anonymous]

Я работаю над моделью Transformer для задачи перевода и хочу отслеживать вес внимания с помощью Comet. Моя модель состоит из 2 слоев по 2 головы внимания в каждом. Мне интересно понять, как эффективно регистрировать нагрузку внимания во время и после тренировки.
Подробнее:

• Настройка модели:
  • Я использую PyTorch с архитектурой Transformer.
  • Модель состоит из 2 слоев, каждый слой имеет 2 головы внимания.
  • Отслеживание внимания:
    
    
    Во время тренировки. Я хочу периодически отслеживать интенсивность внимания, чтобы следить за ее изменением.
  • В Конец обучения: Я также хочу записать веса внимания из окончательной модели для анализа.
• Данные:
  • предположим, что мой набор данных состоит из 10 экземпляров с размером пакета из 2, поэтому имеется 5 пакетов.
• Вопросы:
  • Выбор пакета/экземпляра: Как выбрать пакет или экземпляр для отслеживания? Что следует использовать: конкретную партию, случайную партию или репрезентативную партию?
  • Отслеживание весов внимания:< /p>
    
    Как изменить модель, чтобы она возвращала веса внимания во время прямого прохода?
  • Как лучше всего регистрировать вес внимания с помощью Comet? Должен ли я записывать их через регулярные промежутки времени во время тренировки, а также в конце тренировки?
  < /ul>

Я пытался отслеживать вес внимания на модели Трансформера во время обучения и в конце с помощью Comet. Я изменил модель, чтобы она возвращала веса внимания, и реализовал код для периодической регистрации этих весов на заключительном этапе.
Чего я ожидал:
Я ожидал, что смогу успешно зарегистрировать веса внимания для конкретной партии или экземпляра как во время обучения через определенные промежутки времени, так и в конце процесса обучения, и просмотреть эти зарегистрированные веса на панели управления Comet.
/>Что на самом деле получилось:
Я столкнулся с проблемами при выборе правильной партии или экземпляра для отслеживания, а также столкнулся с трудностями при регистрации весов внимания таким образом, чтобы можно просмотреть на панели управления Comet. Мне нужны рекомендации по выбору пакетов/экземпляров и регистрации весов внимания

Подробнее здесь: https://stackoverflow.com/questions/787 ... with-comet