LR не распадается для pytorch AdamW даже после сотен эпох ⇐ Python

[Anonymous]

У меня есть следующий код с использованием оптимизатора AdamW от Pytorch:

Код: Выделить всё

optimizer = AdamW(params=self.model.parameters(), lr=0.00005)

Я пытался войти в систему с помощью wandb следующим образом:

Код: Выделить всё

lrs = {f'lr_group_{i}': param_group['lr']
for i, param_group in enumerate(self.optimizer.param_groups)}
wandb.log({"train_loss": avg_train_loss, "val_loss": val_loss, **lrs})

Обратите внимание, что значение по умолчанию для параметра Weight_decay составляет 0,01 для AdamW.
Когда я проверил wandb Приборная панель показала один и тот же LR для AdamW даже через 200 эпох и совсем не затухала. Я пробовал это несколько раз.


Почему не происходит затухания LR?
Кроме того, LR показывалось только для одной группы параметров. Почему это так? Кажется, я упускаю здесь что-то основное. Может кто-нибудь указать?

Подробнее здесь: https://stackoverflow.com/questions/787 ... -of-epochs