基本信息来源于合作网站,原文需代理用户跳转至来源网站获取       
摘要:
针对MapReduce框架下的随机森林算法在处理大数据问题时存在的冗余与不相关特征过多,训练特征信息量低以及并行化效率低等问题,提出了大数据下基于信息论和范数的并行随机森林算法(PRFITN).首先,该算法基于信息增益和Frobenius范数设计了一种混合降维策略(DRIGFN),获得降维后的数据集,有效减少了冗余及不相关特征数;其次,提出了基于信息论的特征分组策略(FGSIT),根据FGSIT策略将特征分组,采用分层抽样方法,保证了随机森林中决策树构建时训练特征的信息量,提高了分类结果的准确度;最后,在Reduce阶段提出了一种键值对重分配策略(RSKP),获取全局的分类结果,实现了键值对的快速均匀分配,从而提高了集群的并行效率.实验结果表明,该算法在大数据环境下,尤其是针对特征数较多的数据集有更好的分类效果.
推荐文章
结合信息论和运动信息的镜头检测算法
镜头检测
镜头融合
信息论
运动信息
结合信息论和运动信息的镜头检测算法
镜头检测
镜头融合
信息论
运动信息
人体姿势估计中随机森林训练算法的并行化
人体姿势估计
随机森林
并行化设计
消息传递接口
海浪场非平衡信息论熵的研究初探
非平衡信息论熵
熵平衡方程
熵密度
熵流密度
内容分析
关键词云
关键词热度
相关文献总数  
(/次)
(/年)
文献信息
篇名 结合信息论和范数的并行随机森林算法
来源期刊 计算机科学与探索 学科 工学
关键词 MapReduce框架 随机森林(RF) DRIGFN策略 基于信息论的特征分组策略(FGSIT) 键值对重分配策略(RSKP)
年,卷(期) 2022,(5) 所属期刊栏目 数据库技术|Database Technology
研究方向 页码范围 1064-1075
页数 12页 分类号 TP311
字数 语种 中文
DOI 10.3778/j.issn.1673-9418.2010064
五维指标
传播情况
(/次)
(/年)
引文网络
引文网络
二级参考文献  (0)
共引文献  (0)
参考文献  (0)
节点文献
引证文献  (0)
同被引文献  (0)
二级引证文献  (0)
2022(0)
  • 参考文献(0)
  • 二级参考文献(0)
  • 引证文献(0)
  • 二级引证文献(0)
研究主题发展历程
节点文献
MapReduce框架
随机森林(RF)
DRIGFN策略
基于信息论的特征分组策略(FGSIT)
键值对重分配策略(RSKP)
研究起点
研究来源
研究分支
研究去脉
引文网络交叉学科
相关学者/机构
期刊影响力
计算机科学与探索
月刊
1673-9418
11-5602/TP
大16开
北京市海淀区北四环中路211号北京619信箱26分箱
82-560
2007
chi
出版文献量(篇)
2215
总下载数(次)
4
总被引数(次)
10748
相关基金
国家自然科学基金
英文译名:the National Natural Science Foundation of China
官方网址:http://www.nsfc.gov.cn/
项目类型:青年科学基金项目(面上项目)
学科类型:数理科学
论文1v1指导