批量减数更新方差缩减梯度下降算法BSUG

• 作者: 宋杰 朱勇 许冰
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 机器学习 优化 小批量 减数更新 随机方差缩减梯度法(SVRG)
• 年，卷（期）: 2020,（22）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 117-123
• 页数: 7页
• 分类号: TP301.6
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2003-0261

摘要

机器学习问题通常会转换成求解一个目标函数问题.继随机梯度下降(Stochastic Gradient Descent,SGD)之后,随机方差缩减梯度法(Stochastic Variance Reduction Gradient,SVRG)成为如今优化目标函数参数的主流算法,它由于不受方差影响达到线性收敛而被人们广泛研究.它的提出导致陆续出现如SAGA(Stochastic Average Gradient Average)和SCSG(Stochastically Controlled Stochastic Gradient)等新型方差缩减算法,它们有着过量消耗内存、迭代缓慢等问题.为了实现小成本存储以及快速迭代的目的,设计了一种以SVRG为基础的新型变异方差缩减算法BSUG(Batch Subtraction Update Gradient).改进在于:使用小批量样本代替全部样本进行平均梯度计算,同时对平均梯度进行减数更新.每轮迭代中,随机抽取一批小样本进行平均梯度计算,同时在内部迭代时通过对过去模型梯度的舍去来达到更新平均梯度的目的.通过合适地降低批大小B,可以减少内存存储以及迭代次数.理论分析算法的收敛性,并基于Python进行算法实现,通过与Mini-Batch SGD、AdaGrad、RMSProp、SVRG和SCSG等算法进行比较证明了BSUG算法的有效性,并且通过对超参数进行探究证明了算法的稳定性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	宋杰		66	596	10.0	23.0
2	朱勇		12	54	5.0	7.0
3	许冰		2	1	1.0	1.0