基于随机谱梯度的在线学习

• 作者: 任俊宏 张文生 薛伟
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 在线学习 随机优化 凸优化 随机梯度 谱梯度
• 年，卷（期）: 2016,（9）
• 所属期刊栏目: 2015年第三届CCF大数据学术会议
• 页码范围: 47-51
• 页数: 5页
• 分类号: TP301
• 字数: 4808字
• 语种: 中文
• DOI: 10.11896/j.issn.1002-137X.2016.9.008

摘要

考虑一类学习问题,问题的目标函数可表示为大量组函数的平均,并且假设每一个组件函数都是光滑的.在众多机器学习方法中,在线学习操作流程简洁、收敛速度快,而且可以实现模型的自动更新,为大数据的学习提供了有利的工具.针对这类问题,提出了一种基于随机谱梯度下降(Stochastic Spectral Gradient Descent,S2GD)的在线学习方法.该方法利用Rayleigh商收集目标函数的二阶信息来构造Hessian阵逆的近似.S2GD方法可以看作是谱梯度方法从确定性优化到随机优化的延伸.算法每次迭代所产生的搜索方向具有下降性,且现有结论表明算法收敛.在LIBSVM数据库上的初步实验表明S2GD方法是可行的、有效的.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张文生	南京理工大学计算机科学与工程学院	98	1246	18.0	33.0
3	薛伟	南京理工大学计算机科学与工程学院	2	1	1.0	1.0
6	任俊宏	北京航空航天大学软件学院	1	1	1.0	1.0