一种具有最优收敛速度的正则化境面下降算法

• 作者: 汪群山 王惊晓 高乾坤
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 机器学习 在线学习 随机优化 稀疏性 L1+L2正则化 收敛速度
• 年，卷（期）: 2014,（6）
• 所属期刊栏目: 人工智能及识别技术
• 页码范围: 148-153
• 页数: 6页
• 分类号: TP18
• 字数: 5029字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2014.06.032

摘要

Pegasos算法是求解大规模支持向量机问题的有效方法,在随机梯度下降过程中植入多阶段循环步骤,能使该算法得到最优的收敛速度O(1/T).COMID算法是由镜面下降算法推广得到的正则化随机形式,可保证正则化项的结构,但对于强凸的优化问题,该算法的收敛速度仅为O(logT/T).为此,在COMID算法中引入多阶段循环步骤,提出一种求解L1+L2混合正则化项问题的最优正则化镜面下降算法,证明其具有最优的收敛速度O(1/T),以及与COMID算法相同的稀疏性.在大规模数据库上的实验结果验证了理论分析的正确性和所提算法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王惊晓	解放军陆军军官学院十一系	1	1	1.0	1.0
2	高乾坤	解放军陆军军官学院十一系	2	4	1.0	2.0
3	汪群山	解放军陆军军官学院十一系	3	5	1.0	2.0