深度学习优化器方法及学习率衰减方式综述

• 作者: 冯宇旭 李裕梅
• 来源期刊: 数据挖掘
• 学科: 工学
• 关键词: 深度学习 优化器 梯度下降 Adagrad RMSProp Adadelta ADAM 学习率衰减
• 年，卷（期）: 2018,（4）
• 页码范围: 186-200
• 页数: 15页
• 分类号: TP39

摘要

深度学习作为现今机器学习领域中的重要的技术手段,在图像识别、机器翻译、自然语言处理等领域都已经很成熟,并获得了很好的成果。文中针对深度学习模型优化器的发展进行了梳理,介绍了常用的梯度下降、动量的梯度下降、Adagrad、RMSProp、Adadelta、Adam、Nadam、ANGD等优化方法,也对学习率的衰减方式有分段常数衰减、多项式衰减、指数衰减、自然指数衰减、余弦衰减、线性余弦衰减、噪声线性余弦衰减等方法进行了总结,对深度学习现阶段存在的问题以及对未来的发展趋势进行了阐述,为入门深度学习的研究者提供了较为完整的最优化学习材料以及文献支持。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李裕梅	北京工商大学理学院	14	58	3.0	7.0
2	冯宇旭	北京工商大学理学院	4	7	2.0	2.0