一种处理不平衡大数据的并行随机森林算法

• 作者: 宋威 王卫涛 秦静 谢国伟 钱雪忠
• 来源期刊: 微电子学与计算机
• 关键词: 不平衡大数据 MapReduce 随机森林 代价敏感 分层自助抽样
• 年，卷（期）: 2017,（4）
• 页码范围: 22-27
• 页数: 6页
• 分类号: TP311.1
• 语种: 中文

摘要

基于MapReduce机制的并行随机森林算法MR_RF在处理不平衡大数据时,由于数据本身正类密度低且算法又以全局最优标准选择分割点,而导致正类有误分为负类的趋势,降低了分类效率.本文提出了一种改进的并行随机森林算法(SBWMR_RF),该算法利用分层自助抽样方法增大对少数类的抽样数量,同时考虑正负类不同的误分代价,动态计算每个分区的代价敏感矩阵,将其引入到构建基分类器的关键步骤,弱化数据偏置的影响.实验证明SBWMR_RF算法提高了对不平衡大数据的分类准确率,没有出现过拟合现象,在极不平衡环境下优势明显.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	钱雪忠	江南大学物联网技术应用教育部工程研究中心	92	741	15.0	22.0
2	宋威	江南大学物联网技术应用教育部工程研究中心	44	158	8.0	10.0
3	谢国伟	江南大学物联网技术应用教育部工程研究中心	3	15	2.0	3.0
4	秦静	江南大学物联网技术应用教育部工程研究中心	2	10	1.0	2.0
5	王卫涛	江南大学物联网技术应用教育部工程研究中心	3	15	2.0	3.0