一种基于Comid的非光滑损失随机坐标下降方法

• 作者: 孔康 朱烨雷 罗强 陶卿
• 来源期刊: 电子学报
• 学科: 工学
• 关键词: 机器学习 优化 大规模 坐标下降方法 非光滑损失 结构学习 COMID
• 年，卷（期）: 2013,（4）
• 所属期刊栏目: 学术论文
• 页码范围: 768-775
• 页数: 8页
• 分类号: TP301
• 字数: 6493字
• 语种: 中文
• DOI: 10.3969/j.issn.0372-2112.2013.04.024

摘要

坐标下降方法以简洁的操作流程、低廉的计算代价和快速的实际收敛效果,成为处理大规模优化最有效的方法之一.但目前几乎所有的坐标下降方法都由于子问题解析求解的需要而假设损失函数的光滑性.本文在结构学习的框架下,在采用Comid方法求解随机挑选单变量子问题的基础上,提出了一种新的关于非光滑损失的随机坐标下降方法.理论分析表明本文所提出的算法在一般凸条件下可以得到O(√t/t)的收敛速度,在强凸条件下可以得到O(lnt/t)的收敛速度.实验结果表明本文所提出的算法对正则化Hinge损失问题实现了坐标优化预期的效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陶卿		29	495	8.0	22.0
2	朱烨雷		3	6	2.0	2.0
3	罗强		6	7	2.0	2.0
4	孔康		2	10	2.0	2.0