基于梯度分布调节策略的Xgboost算法优化

• 作者: 朱焱 李浩
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 不平衡分类 Xgboost 梯度分布 损失贡献 损失贡献密度
• 年，卷（期）: 2020,（6）
• 所属期刊栏目: 人工智能
• 页码范围: 1633-1637
• 页数: 5页
• 分类号: TP181
• 字数: 4665字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2019101878

摘要

为了解决集成学习模型Xgboost在二分类问题中少数类检出率低的问题,提出了基于梯度分布调节策略的改进的Xgboost算法——LCGHA-Xgboost.首先,通过定义损失贡献(LC)来模拟Xgboost算法中样本个体的损失量;而后,通过定义损失贡献密度(LCD)来衡量Xgboost算法中样本被正确分类的难易程度;最后,提出了梯度分布调节算法LCGHA,依据LCD动态调整样本个体的一阶梯度分布,间接地增大难分样本(主要存在于少数类中)的损失量,减小易分样本(主要存在于多数类中)的损失量,使Xgboost算法偏向对难分样本的学习.实验结果表明,与Xgboost、GBDT、随机森林(Random_Forest)这三大集成学习算法相比,LCGHA-Xgboost算法在多个UCI数据集上的召回率(Recall)值有5.4％～16.7％的提高,AUC值有0.94％～7.41％的提高;在垃圾网页数据集WebSpam-UK2007和DC2010数据集上所提算法的Recall值更是有44.4％～383.3％的提高,AUC值有5.8％～35.6％的提高.LCGHA-Xgboost算法可以有效提高对少数类的分类检出能力,减小少数类的分类错误率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱焱	西南交通大学信息科学与技术学院	33	248	8.0	14.0
2	李浩	西南交通大学信息科学与技术学院	8	44	2.0	6.0