Pytorch 学习率衰减方法 1.什么是学习率衰减 梯度下降算法需要我们指定一个学习率作为权重更新步幅的控制因子，常用的学习率有0.01、0.001以及0.0001等，学习率越大则权重更新。一般来说，我们希望在训练初期学习率大一些，使得网络收敛迅速，在训练后期学习率小一些，使得网络更好的收敛到最优解。 Pytorch中有两种学习率调整(衰减)方法： （1）使用库函数进行调整； （2）手动调整。 2.使用库函数进行调整 Pytorch学习率调整策略通过 torch.optim.lr_sheduler 接口实现。pytorch提供的学习率调整策略分为三大类，分别是： （1）有序调整：等间隔调整(Step)，多间隔调整(MultiStep)，指数衰减(Exponential)，余弦退火(CosineAnnealing); （2）自适应调整：依训练状况伺机而变，通过监测某个指标的变化情况(loss、accuracy)，当该指标不怎么变化时，就是调整学习率的时机(ReduceLROnPlateau); （3）自定义调整：通过自定义关于epoch的lambda函数调整学习率(LambdaLR)。 ...