带自适应学习率的加速随机方差缩减梯度法

• 作者: 陈国茗 于腾腾 刘新为
• 来源期刊: 数值计算与计算机应用
• 关键词: 随机梯度法 方差缩减 自适应学习率 初始化偏差矫正 动量加速
• 年，卷（期）: 2021,（3）
• 所属期刊栏目: 论文|Articles
• 页码范围: 215-225
• 页数: 11页
• 语种: 中文
• DOI: 10.12288/szjs.s2020-0639

摘要

由于随机方差缩减梯度(SVRG)法在求解经验风险最小化(ERM)问题时表现优异,近年来受到了广泛关注.与SVRG方法中使用固定的学习率不同,结合初始化偏差矫正技术,提出使用自适应方法来动态计算SVRG方法及其加速版本FSVRG方法的学习率,分别称为AdaSVRG方法和AdaFSVRG方法.收敛性分析表明,AdaSVRG方法和AdaFSVRG方法在强凸假设下均具有线性收敛速率.在标准数据集上的数值实验表明,在求解ERM问题时,AdaSVRG和AdaFSVRG需要更少的迭代次数就可以达到相同水平的优化间隙.