Hadoop环境下基于随机森林的特征选择算法

• 作者: 吴海涛 张鑫 曹雪虹
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 高维大数据 随机森林 MapReduce 特征选择 分类
• 年，卷（期）: 2018,（7）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 88-92,98
• 页数: 6页
• 分类号: TP181
• 字数: 5753字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2018.07.019

摘要

针对传统随机森林算法不能有效、快速地处理海量高维数据,导致分类效果不理想的问题,以提高分类准确率和运行效率为目的,提出了一种基于Hadoop平台的分布式可扩展随机森林算法.该算法采用基于袋外数据集测试准确率变化的特征选择算法,在分布式平台上使用MapReduce构建随机森林,然后通过改变袋外数据的每一列特征获取每一棵决策树对应的特征重要性度量及权重,运用两者的加权求和求得特征重要性排序,其中决策树的权重取决于决策树与集体随机森林预测的一致性.最后,在特征重要性排序的基础上引入了一定的随机性,确保了每棵树的强度,又减少了树与树间的相关性.实验结果表明,相比于传统单机模式下的随机森林特征选择算法,该算法在分类的准确性和运行效率上效果良好.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴海涛	南京工程学院通信工程学院	19	73	5.0	8.0
2	曹雪虹	南京工程学院康尼机电研究院	57	151	8.0	8.0
3	张鑫	南京邮电大学通信与信息工程学院	9	22	3.0	4.0