梯度有偏情形非光滑问题NAG的个体收敛性

• 作者: 刘宇翔 程禹嘉 陶卿
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 机器学习 Nesterov加速方法 随机优化 梯度估计有偏 个体收敛
• 年，卷（期）: 2020,（4）
• 所属期刊栏目: 非经典条件下的机器学习方法专题
• 页码范围: 1051-1062
• 页数: 12页
• 分类号: TP181
• 字数: 9155字
• 语种: 中文

摘要

随机优化方法已经成为处理大规模正则化和深度学习优化问题的首选方法,其收敛速率的获得通常都建立在目标函数梯度无偏估计的基础上,但对机器学习问题来说,很多现象都导致了梯度有偏情况的出现.与梯度无偏情形不同的是,著名的Nesterov加速算法NAG(Nesterov accelerated gradient)会逐步累积每次迭代中的梯度偏差,从而导致不能获得最优的收敛速率甚至收敛性都无法保证.近期的研究结果表明,NAG方法也是求解非光滑问题投影次梯度关于个体收敛的加速算法,但次梯度有偏对其影响的研究未见报道.针对非光滑优化问题,证明了在次梯度偏差有界的情况下,NAG能够获得稳定的个体收敛界,而当次梯度偏差按照一定速率衰减时,NAG仍然可获得最优的个体收敛速率.作为应用,得到了一种无需精确计算投影的投影次梯度方法,可以在保持收敛性的同时较快地达到稳定学习的精度.实验验证了理论分析的正确性及非精确方法的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陶卿	中国人民解放军陆军炮兵防空兵学院信息工程系	29	495	8.0	22.0
2	刘宇翔	中国人民解放军陆军炮兵防空兵学院信息工程系	2	1	1.0	1.0
3	程禹嘉	中国人民解放军陆军炮兵防空兵学院信息工程系	2	1	1.0	1.0