基于Spark的改进随机森林算法

• 作者: 孙悦 袁健
• 来源期刊: 电子科技
• 学科: 工学
• 关键词: 随机森林 Spark 特征空间 ReliefF算法 高维数据 分类模型
• 年，卷（期）: 2019,（4）
• 页码范围: 60-63,67
• 页数: 5页
• 分类号: TP311.13
• 字数: 4814字
• 语种: 中文
• DOI: 10.16180/j.cnki.issn1007-7820.2019.04.013

摘要

针对基于单机的经典随机森林算法无法满足海量数据处理需求的问题,文中采用Spark分布式存储计算技术设计并实现了改进的随机森林算法.首先计算特征的重要程度,将特征分为公共特征、独有特征和非重要特征;然后按顺序和比例分别在各个特征子空间中随机选择特征;最后通过Spark集群进行实验,分析改进的随机森林算法分类性能、加速比和效率.结果证实改进的算法提高了随机森林构建效率,可以用来解决海量数据挖掘问题,具有良好的可扩展性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	袁健	上海理工大学光电信息与计算机工程学院	60	373	10.0	16.0
2	孙悦	上海理工大学光电信息与计算机工程学院	5	16	2.0	4.0