基于差分修正的SGDM算法

• 作者: 袁炜 胡飞
• 来源期刊: 计算机系统应用
• 关键词: 深度学习 一阶优化器 SGDM算法 差分
• 年，卷（期）: 2021,（7）
• 所属期刊栏目: 软件技术·算法|Software Technique · Algorithm
• 页码范围: 220-224
• 页数: 5页
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.007979

摘要

当前, 应用广泛的一阶深度学习优化器包括学习率非自适应优化器和学习率自适应优化器, 前者以SGDM为代表, 后者以Adam为代表, 这两类方法都使用指数滑动平均法来估计总体的梯度. 然而使用指数滑动平均法来估计总体梯度是有偏差且具有滞后性的, 本文提出基于差分修正的SGDM算法——RSGDM算法. 我们的贡献主要有3点: 1) 分析SGDM算法里指数滑动平均法带来的偏差和滞后性. 2) 使用差分估计项来修正SGDM算法里的偏差和滞后性, 提出RSGDM算法. 3) 在CIFAR-10和CIFAR-100数据集上实验证明了在收敛精度上我们的RSGDM算法比SGDM算法更优.