自适应策略下Heavy-Ball型动量法的最优个体收敛速率

• 作者: 黄鉴之 陇盛 陶卿
• 来源期刊: 模式识别与人工智能
• 关键词: 自适应步长算法 动量算法 AMSGrad 个体收敛速率
• 年，卷（期）: 2021,（2）
• 所属期刊栏目: 论文与报告|Papers and Reports
• 页码范围: 137-145
• 页数: 9页
• 分类号: TP181
• 语种: 中文
• DOI: 10.16451/j.cnki.issn1003-6059.202102005

摘要

同时使用自适应步长和动量两种优化技巧的AMSGrad在收敛性分析方面存在比自适应步长算法增加一个对数因子的问题.为了解决该问题,文中在非光滑凸情形下,巧妙选取动量和步长参数,证明自适应策略下Heavy-Ball型动量法具有最优的个体收敛速率,说明自适应策略下Heavy-Ball型动量法兼具动量的加速特性和自适应步长对超参数的低依赖性.求解l1范数约束下的Hinge损失问题,验证理论分析的正确性.