机器学习随机优化方法的个体收敛性研究综述

• 作者: 张梦晗 陶卿 陶蔚 马坡
• 来源期刊: 数据采集与处理
• 学科: 工学
• 关键词: 机器学习 随机优化 个体收敛性 有偏梯度估计 非凸问题
• 年，卷（期）: 2017,（1）
• 页码范围: 17-25
• 页数: 9页
• 分类号: TP391
• 字数: 8267字
• 语种: 中文
• DOI: 10.16337/j.1004-9037.2017.01.002

摘要

随机优化方法是求解大规模机器学习问题的主流方法,其研究的焦点问题是算法是否达到最优收敛速率与能否保证学习问题的结构.目前,正则化损失函数问题已得到了众多形式的随机优化算法,但绝大多数只是对迭代进行平均的输出方式讨论了收敛速率,甚至无法保证最为典型的稀疏结构.与之不同的是,个体解能很好保持稀疏性,其最优收敛速率已经作为open问题被广泛探索.另外,随机优化普遍采用的梯度无偏假设往往不成立,加速方法收敛界中的偏差在有偏情形下会随迭代累积,从而无法应用.本文对一阶随机梯度方法的研究现状及存在的问题进行综述,其中包括个体收敛速率、梯度有偏情形以及非凸优化问题,并在此基础上指出了一些值得研究的问题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陶卿	中国人民解放军陆军军官学院十一系	29	495	8.0	22.0
2	张梦晗	中国人民解放军陆军军官学院十一系	2	3	1.0	1.0
3	马坡	中国人民解放军陆军军官学院十一系	1	3	1.0	1.0
4	陶蔚	解放军理工大学指挥信息系统学院	1	3	1.0	1.0