优化算法
2022-07-22 09:30:08 0 举报
AI智能生成
登录查看完整内容
指数加权平均、momentom、RMSProp、Adam优化算法
作者其他创作
大纲/内容
目的:得到移动平均值,不需要精确计算
值越大相当于平均的天数更多,前几天不准,所以有偏差修正
原理:
在基础上再计算
偏差修正:
指数加权平均数
思想:每次不是光用mini-batch的梯度,而是平均梯度
公式
momentom
思想:对于权重的不同维度做了一个归一化
RMSProp
一般为0.9
一般为0.999
偏差修正
梯度下降
adam
鞍点多
鞍点:w某些方向局部最高,某些方向局部最低
局部最优点少
局部最优点:所有方向局部最低
鞍点 局部最优点
Assuming optimizer uses lr = 0.05 for all groupslr = 0.05 if epoch < 30lr = 0.005 if 30 <= epoch < 60lr = 0.0005 if 60 <= epoch < 90
等间隔调整学习率 StepLR
lr = 0.05 if epoch < 30lr = 0.005 if 30 <= epoch < 80lr = 0.0005 if epoch >80
按需调整学习率 MultiStepLR
torch.optim.lr_scheduler.ExponentialLR
指数衰减调整学习率 ExponentialLR
自定义指标更新学习率(可用正确率或者loss)
自适应调整学习率 ReduceLROnPlateau
自定义函数更新学习率
自定义调整学习率 LambdaLR
余弦退火调整学习率 CosineAnnealingLR
span class=\"equation-text\" contenteditable=\"false\" data-index=\"0\" data-equation=\
余弦函数
CosineAnnealingWarmRestarts
学习率调整
优化算法
0 条评论
回复 删除
下一页