随机 COMID 的瞬时收敛速率分析

• 作者: 姜纪远 汪群山 邵言剑 陶卿
• 来源期刊: 电子学报
• 学科: 工学
• 关键词: 机器学习 随机优化 非光滑优化 L1 正则化 COMID 瞬时收敛速率
• 年，卷（期）: 2015,（9）
• 所属期刊栏目: 学术论文
• 页码范围: 1850-1858
• 页数: 9页
• 分类号: TP301
• 字数: 7930字
• 语种: 中文
• DOI: 10.3969/j.issn.0372-2112.2015.09.025

摘要

COMID（Composite Objective MIrror Descent）是一种能够保证 L1正则化结构的在线算法，其随机收敛速率可由在线算法的 regret 界直接得到，但其最终解是 T 次迭代平均的形式，稀疏性很差。瞬时解具有很好的稀疏性，因此分析算法的瞬时收敛速率在随机学习中变得越来越重要。本文讨论正则化非光滑损失的随机优化问题，当正则化项为L1和 L1＋L2时，分别证明了 COMID 的瞬时收敛速率。大规模数据库上的实验表明，在保证几乎相同正确率的同时，瞬时解一致地提高了稀疏性，尤其是对稀疏性较差的数据库，稀疏度甚至能够提升4倍以上。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陶卿	中国人民解放军陆军军官学院十一系	29	495	8.0	22.0
2	邵言剑	中国人民解放军陆军军官学院十一系	3	17	2.0	3.0
3	汪群山	中国人民解放军陆军军官学院十一系	5	9	2.0	3.0
4	姜纪远	中国人民解放军陆军军官学院十一系	4	17	2.0	4.0