Уменьшите максимальную скорость обучения после каждого перезапуска. ⇐ Python

[Anonymous]

Я обучаю нейронную сеть для решения задачи, основанной на компьютерном зрении. Что касается оптимизатора, я обнаружил, что не идеально использовать одну скорость обучения для всего обучения, и люди используют планировщики скорости обучения для снижения скорости обучения определенным образом. Поэтому, чтобы сделать это, я опробовал PyTorch CosineAnnealingWarmRestarts(). Это означает, что он отжигает/уменьшает начальную скорость обучения (установленную нами) по косинусу до тех пор, пока не произойдет перезапуск. После этого «перезапуска» скорость обучения возвращается к исходной скорости обучения, и цикл повторяется снова. Это сработало для меня очень хорошо, но я хотел внести в него несколько изменений. Я хотел изменить скорость обучения, оптимизатор назначается после каждого рестарта, так что после каждого рестарта максимальная скорость обучения для оптимизатора тоже уменьшается. Можно ли это сделать в PyTorch?

Подробнее здесь: https://stackoverflow.com/questions/624 ... ry-restart