Использование планировщика скорости обучения для регулировки снижения веса ⇐ Python

[Anonymous]

У меня вопрос: можем ли мы использовать CosineAnnealingLR() для применения к уменьшению веса вместо скорости обучения?
Вот как это применяется к скорости обучения, но что я действительно хочу сделать вместо этого использовать его для снижения веса.
optimizer = AdamW(..., learning_rate = 0.4) #what I really want is weight_decay = 0.4
CosineDecayLR(T_max = model_params["epochs"], eta_min = 0.04) #what I really want is CosineDecayWeightDecay


Подробнее здесь: https://stackoverflow.com/questions/791 ... ight-decay