一种改进的深度学习模型自适应学习率策略

• 作者: 刘帆 刘鹏远 张峻宁 徐彬彬
• 来源期刊: 兵工自动化
• 学科: 工学
• 关键词: 深度学习 卷积神经网络 学习率 自适应策略 目标检测
• 年，卷（期）: 2019,（1）
• 所属期刊栏目: 机器人技术与应用
• 页码范围: 72-77
• 页数: 6页
• 分类号: TP391
• 字数: 4855字
• 语种: 中文
• DOI: 10.7690/bgzdh.2019.01.016

摘要

针对当前深度学习中学习率不能完全拟合模型运行状态,导致收敛速度较慢和误差较大的问题,提出一种自适应学习率策略AdaDouL.该策略是在上一回合学习率的基础上利用当前的梯度去自适应调节学习率的大小,并根据损失函数的增量正负值给出2种不同下降速度的学习率形式,以模型的输出和标签之间的损失函数作为评价指标,在Vot2015数据集上使用构建的卷积神经网络模型进行实验验证.验证结果表明:使用该学习策略的深度模型相比使用AdaGrad和AadDec学习策略具有更快的收敛速度,并且收敛误差值也有一定降低;进行检测测试时,中心误差精度提升了4.5％,检测准确率上升了2.1％.