基本信息来源于合作网站,原文需代理用户跳转至来源网站获取       
摘要:
随着互联网的用户及内容呈指数级增长,大规模数据场景下的相似度计算对算法的效率提出了更高的要求.为提高算法的执行效率,对MapReduce架构下的算法执行缺陷进行了分析,结合Spark适于迭代型及交互型任务的特点,基于二维划分算法将算法从MapReduce平台移植到Spark平台;同时,通过参数调整、内存优化等方法进一步提高算法的执行效率.通过2组数据集分别在3组不同规模的集群上的实验表明,与MapReduce相比,在Spark平台下算法的执行效率平均提高了4.715倍,平均能耗效率只有Hadoop能耗的24.86%,能耗效率提升了4倍左右.
推荐文章
基于Spark的PFP-Growth并行算法优化实现
并行化
Spark
关联挖掘
PFP-Growth
基于《知网》的词语相似度计算研究
知网
义原
相似度
自然语言处理
基于PML结构文件的MapReduce算法优化
物联网
云计算
乳制品追溯
MapReduce
XGrind
Spark DAG优化MapReduce协同过滤算法
协同过滤
MapReduce
Spark
算法优化
能耗优化
内容分析
关键词云
关键词热度
相关文献总数  
(/次)
(/年)
文献信息
篇名 基于Spark的MapReduce相似度计算效率优化
来源期刊 计算机科学 学科 工学
关键词 相似度计算 MapReduce Spark优化 能耗优化
年,卷(期) 2017,(8) 所属期刊栏目 高性能计算
研究方向 页码范围 46-53
页数 8页 分类号 TP393.09
字数 7939字 语种 中文
DOI 10.11896/j.issn.1002-137X.2017.08.009
五维指标
作者信息
序号 姓名 单位 发文数 被引次数 H指数 G指数
1 于炯 新疆大学信息科学与工程学院 176 1315 20.0 28.0
2 廖彬 新疆财经大学统计与信息学院 34 172 8.0 10.0
3 张陶 新疆大学信息科学与工程学院 16 95 7.0 9.0
7 国冰磊 新疆大学信息科学与工程学院 21 90 6.0 8.0
8 刘炎 清华大学软件学院 10 43 5.0 6.0
传播情况
(/次)
(/年)
引文网络
引文网络
二级参考文献  (103)
共引文献  (167)
参考文献  (14)
节点文献
引证文献  (5)
同被引文献  (24)
二级引证文献  (2)
1970(1)
  • 参考文献(0)
  • 二级参考文献(1)
1996(2)
  • 参考文献(0)
  • 二级参考文献(2)
2000(3)
  • 参考文献(0)
  • 二级参考文献(3)
2002(1)
  • 参考文献(0)
  • 二级参考文献(1)
2003(3)
  • 参考文献(0)
  • 二级参考文献(3)
2004(5)
  • 参考文献(0)
  • 二级参考文献(5)
2005(3)
  • 参考文献(0)
  • 二级参考文献(3)
2006(2)
  • 参考文献(0)
  • 二级参考文献(2)
2007(7)
  • 参考文献(0)
  • 二级参考文献(7)
2008(12)
  • 参考文献(1)
  • 二级参考文献(11)
2009(14)
  • 参考文献(0)
  • 二级参考文献(14)
2010(21)
  • 参考文献(3)
  • 二级参考文献(18)
2011(17)
  • 参考文献(1)
  • 二级参考文献(16)
2012(12)
  • 参考文献(0)
  • 二级参考文献(12)
2013(11)
  • 参考文献(6)
  • 二级参考文献(5)
2015(2)
  • 参考文献(2)
  • 二级参考文献(0)
2016(1)
  • 参考文献(1)
  • 二级参考文献(0)
2017(1)
  • 参考文献(0)
  • 二级参考文献(0)
  • 引证文献(1)
  • 二级引证文献(0)
2017(1)
  • 引证文献(1)
  • 二级引证文献(0)
2018(2)
  • 引证文献(2)
  • 二级引证文献(0)
2019(4)
  • 引证文献(2)
  • 二级引证文献(2)
研究主题发展历程
节点文献
相似度计算
MapReduce
Spark优化
能耗优化
研究起点
研究来源
研究分支
研究去脉
引文网络交叉学科
相关学者/机构
期刊影响力
计算机科学
月刊
1002-137X
50-1075/TP
大16开
重庆市渝北区洪湖西路18号
78-68
1974
chi
出版文献量(篇)
18527
总下载数(次)
68
总被引数(次)
150664
相关基金
新疆维吾尔自治区自然科学基金
英文译名:
官方网址:
项目类型:
学科类型:
论文1v1指导