基于选择性集成的最大化软间隔算法

• 作者: 佘莉 傅彦 周俊临 孙崇敬 方育柯
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 集成学习 选择性集成 软间隔 相关度 线性规划
• 年，卷（期）: 2012,（5）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 1132-1147
• 分类号: TP181
• 字数: 19346字
• 语种: 中文
• DOI: 10.3724/SP.J.1001.2012.04064

摘要

当前,boosting集成学习算法研究主要集中于最大化弱学习器凸组合的间隔或软间隔,该凸组合几乎使用了生成的所有弱学习器,然而这些弱学习器间存在大量的相关性和冗余,增加了训练和分类过程的时空复杂度.针对这一问题,在LPBoost基础上提出了一种选择性boosting集成学习算法,称为SelectedBoost.在每次迭代生成新的弱学习器以后,通过计算新生成的弱学习器与已有弱学习器的相关度和差异度,并结合当前集成的强学习器的准确率来判断是否选择该弱学习器.另外,当前的一系列boosting算法(如AdaBoost,LPBoost,ERLPBoost等),本质上是基于已生成的1个或者多个弱学习器来更新样本权重,但与弱学习器相比,强学习器更能代表当前的决策面.因此,SelectedBoost通过在带约束的间隔最大化问题中引入更加严格的强学习器边界约束条件,使得该算法不仅参考弱学习器边界,同时还参考已生成的强学习器来更新样本权重,进而提高算法的收敛速度.最后,与其他有代表性的集成学习算法进行实验比较,结果表明,该方法在收敛率、分类准确性以及泛化能力等方面均具有比较明显的优势.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	傅彦	电子科技大学计算机科学与工程学院	66	695	14.0	22.0
2	周俊临	电子科技大学计算机科学与工程学院	14	73	5.0	7.0
3	方育柯	电子科技大学计算机科学与工程学院	6	28	3.0	5.0
4	佘莉	电子科技大学计算机科学与工程学院	3	116	2.0	3.0
5	孙崇敬	电子科技大学计算机科学与工程学院	3	13	1.0	3.0