一种组合型的深度学习模型学习率策略

• 作者: 李宝奇 贺昱曜
• 来源期刊: 自动化学报
• 关键词: 深度学习 学习率 组合学习策略 图像重构
• 年，卷（期）: 2016,（6）
• 页码范围: 953-958
• 页数: 6页
• 字数: 6934字
• 语种: 中文
• DOI: 10.16383/j.aas.2016.c150681

摘要

一个设计良好的学习率策略可以显著提高深度学习模型的收敛速度，减少模型的训练时间.本文针对AdaGrad 和AdaDec 学习策略只对模型所有参数提供单一学习率方式的问题，根据模型参数的特点，提出了一种组合型学习策略： AdaMix.该策略为连接权重设计了一个仅与当前梯度有关的学习率，为偏置设计使用了幂指数型学习率.利用深度学习模型Autoencoder 对图像数据库MNIST 进行重构，以模型反向微调过程中测试阶段的重构误差作为评价指标，验证几种学习策略对模型收敛性的影响.实验结果表明， AdaMix 比AdaGrad 和AdaDec 的重构误差小并且计算量也低，具有更快的收敛速度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	贺昱曜	西北工业大学航海学院	85	590	14.0	19.0
2	李宝奇	西北工业大学航海学院	6	39	3.0	6.0