基于MapReduce的决策树算法并行化

• 作者: 程小辉 陆秋
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: MapReduce 属性相似度 Hadoop 决策树 ID3算法
• 年，卷（期）: 2012,（9）
• 所属期刊栏目: 先进计算
• 页码范围: 2463-2465,2469
• 分类号: TP311.133.2
• 字数: 4368字
• 语种: 中文
• DOI: 10.3724/SP.J.1087.2012.02463

摘要

针对传统决策树算法不能解决海量数据挖掘以及ID3算法的多值偏向问题,设计和实现了一种基于MapReduce架构的并行决策树分类算法.该算法采用属性相似度作为测试属性的选择标准来避免ID3算法的多值偏向问题,采用MapReduce模型来解决海量数据挖掘问题.在用普通PC搭建的Hadoop集群的实验结果表明:基于MapReduce的决策树算法可以处理大规模数据的分类问题,具有较好的可扩展性,在保证分类正确率的情况下能获得接近线性的加速比.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陆秋	桂林理工大学信息科学与工程学院	8	65	3.0	8.0
2	程小辉	桂林理工大学信息科学与工程学院	91	420	10.0	16.0