深度学习自适应学习率算法研究

• 作者: 叶阁焰 彭晶 蒋文斌
• 来源期刊: 华中科技大学学报（自然科学版）
• 学科: 工学
• 关键词: 深度学习 学习率 准确率 陈旧梯度 MXNet框架
• 年，卷（期）: 2019,（5）
• 所属期刊栏目: 电子与信息工程
• 页码范围: 79-83
• 页数: 5页
• 分类号: TP18
• 语种: 中文
• DOI: 10.13245/j.hust.190515

摘要

为了获得更好的收敛速度和训练效果,提出了根据模型测试准确率对学习率使用不同调整策略的自适应学习率调整算法.将训练过程分为前期、中期和后期三个阶段:在前期适当增大学习率,在中期和后期根据与测试准确率的增量相关的衰减因子函数使用不同大小的学习率衰减因子减小学习率,增量越小表示模型越接近收敛,因而使用更小的衰减因子.基于MXNet框架,在数据集CIFAR-10和CIFAR-100上进行测试实验,结果表明所提出的方法在收敛速度和准确率收敛值方面都有更好的效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蒋文斌	华中科技大学服务计算技术与系统教育部重点实验室	16	59	4.0	7.0
2	彭晶	华中科技大学集群与网格计算湖北省重点实验室	4	11	2.0	3.0
3	叶阁焰	华中科技大学计算机科学与技术学院	1	7	1.0	1.0