基于MapReduce的Bagging决策树优化算法

• 作者: 张元鸣 徐俊 肖刚 陆佳炜 陈苗
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 决策树 Bagging MapReduce模型 大数据分析 准确性
• 年，卷（期）: 2017,（5）
• 所属期刊栏目: 高性能计算
• 页码范围: 841-848
• 页数: 8页
• 分类号: TP390.027
• 字数: 6258字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2017.05.004

摘要

针对经典C4.5决策树算法存在过度拟合和伸缩性差的问题,提出了一种基于Bagging的决策树改进算法,并基于MapReduce模型对改进算法进行了并行化.首先,基于Bagging技术对C4.5算法进行了改进,通过有放回采样得到多个与初始训练集大小相等的新训练集,并在每个训练集上进行训练,得到多个分类器,再根据多数投票规则集成训练结果得到最终的分类器;然后,基于MapReduce模型对改进算法进行了并行化,能够并行化处理训练集、并行选择最佳分割属性和最佳分割点,以及并行生成子节点,实现了基于MapReduce Job工作流的并行决策树改进算法,提高了对大数据集的分析能力.实验结果表明,并行Bagging决策树改进算法具有较高的准确度与敏感度,以及较好的伸缩性和加速比.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐俊	浙江工业大学计算机科学与技术学院	39	170	8.0	10.0
2	张元鸣	浙江工业大学计算机科学与技术学院	65	493	11.0	19.0
3	陆佳炜	浙江工业大学计算机科学与技术学院	49	189	7.0	10.0
4	肖刚	浙江工业大学计算机科学与技术学院	138	1143	17.0	27.0
5	陈苗	浙江工业大学计算机科学与技术学院	4	14	2.0	3.0