支持向量学习的多参数同时调节

• 作者: 丁立中 廖士中 贾磊
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 核方法 支持向量学习 模型选择 参数调节 序贯无约束极小化技术
• 年，卷（期）: 2014,（9）
• 所属期刊栏目: 大数据分析专刊
• 页码范围: 2149-2159
• 页数: 11页
• 分类号: TP181
• 字数: 6659字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.004650

摘要

模型选择是支持向量学习的关键问题。已有模型选择方法采用嵌套的双层优化框架,内层执行支持向量学习,外层通过最小化泛化误差的估计进行模型选择。该框架过程复杂,计算效率低。简化传统的双层优化框架,提出一个支持向量学习的多参数同时调节方法,在同一优化过程中实现模型选择和学习器训练。首先,将支持向量学习中的参数和超参数合并为一个参数向量,利用序贯无约束极小化技术(sequential unconstrained minimization technique,简称SUMT)分别改写支持向量分类和回归的有约束优化问题,得到多参数同时调节模型的多元无约束形式定义；然后,证明多参数同时调节模型目标函数的局部 Lipschitz 连续性及水平集有界性。在此基础上,应用变尺度方法(variable metric method,简称VMM)设计并实现了多参数同时调节算法。进一步地,基于多参数同时调节模型的性质,证明了算法收敛性,对比分析了算法复杂性。最后,实验验证同时调节算法的收敛性,并实验对比同时调节算法的有效性。理论证明和实验分析表明,同时调节方法是一种坚实、高效的支持向量模型选择方法。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	廖士中	天津大学计算机科学与技术学院	40	162	9.0	10.0
2	贾磊	天津大学计算机科学与技术学院	9	51	4.0	7.0
3	丁立中	天津大学计算机科学与技术学院	4	43	4.0	4.0