Spark平台加权分层子空间随机森林算法研究

• 作者: 祝永志 荆静
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 随机森林 Spark 大数据处理 特征选择
• 年，卷（期）: 2020,（3）
• 所属期刊栏目: 计算机软件与理论
• 页码范围: 120-124
• 页数: 5页
• 分类号: TP312
• 字数: 4198字
• 语种: 中文
• DOI: 10.11907/rjdk.191691

摘要

如何在各式大数据中更快更准确地挖掘有用信息是研究热点.随机森林算法作为一种重要的机器学习算法,适用于大部分数据集.随机森林算法可以并行运行,这是随机森林算法处理大数据集时的优势.将随机森林算法应用在大数据处理框架Spark上,提高了随机森林算法处理大数据集时的速度.首先对随机森林进行参数调优,找到当前数据集的最优参数组合,采用随机森林模型对特征进行重要度计算,筛选掉噪声数据;然后采用卡方检验对数据集的特征进行分层,实现分层子空间随机森林并验证准确率和袋外精度;最后在传统分层子空间随机森林基础上对分层子空间进行加权改进.实验证明改进后的随机森林算法准确率提高了3％,袋外估计精度提高了1％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	祝永志	曲阜师范大学信息科学与工程学院	77	392	10.0	16.0
2	荆静	曲阜师范大学信息科学与工程学院	3	13	1.0	3.0