优化算法



目的：得到移动平均值，不需要精确计算

 

值越大相当于平均的天数更多，前几天不准，所以有偏差修正

原理：

在基础上再计算

偏差修正：

指数加权平均数

思想：每次不是光用mini-batch的梯度，而是平均梯度

公式

momentom

思想：对于权重的不同维度做了一个归一化

RMSProp

一般为0.9

一般为0.999

偏差修正

梯度下降

adam

鞍点多

鞍点：w某些方向局部最高，某些方向局部最低

局部最优点少

局部最优点：所有方向局部最低

鞍点 局部最优点

Assuming optimizer uses lr = 0.05 for all groupslr = 0.05     if epoch < 30lr = 0.005    if 30 <= epoch < 60lr = 0.0005   if 60 <= epoch < 90

等间隔调整学习率 StepLR

lr = 0.05     if epoch < 30lr = 0.005    if 30 <= epoch < 80lr = 0.0005  if epoch >80

按需调整学习率 MultiStepLR

torch.optim.lr_scheduler.ExponentialLR

指数衰减调整学习率 ExponentialLR

自定义指标更新学习率（可用正确率或者loss）

自适应调整学习率 ReduceLROnPlateau

自定义函数更新学习率

自定义调整学习率 LambdaLR

余弦退火调整学习率 CosineAnnealingLR

span class=\"equation-text\" contenteditable=\"false\" data-index=\"0\" data-equation=\

余弦函数

CosineAnnealingWarmRestarts

学习率调整

优化算法