基于Spark的MapReduce相似度计算效率优化

• 作者: 于炯 刘炎 国冰磊 廖彬 张陶
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 相似度计算 MapReduce Spark优化 能耗优化
• 年，卷（期）: 2017,（8）
• 所属期刊栏目: 高性能计算
• 页码范围: 46-53
• 页数: 8页
• 分类号: TP393.09
• 字数: 7939字
• 语种: 中文
• DOI: 10.11896/j.issn.1002-137X.2017.08.009

摘要

随着互联网的用户及内容呈指数级增长,大规模数据场景下的相似度计算对算法的效率提出了更高的要求.为提高算法的执行效率,对MapReduce架构下的算法执行缺陷进行了分析,结合Spark适于迭代型及交互型任务的特点,基于二维划分算法将算法从MapReduce平台移植到Spark平台;同时,通过参数调整、内存优化等方法进一步提高算法的执行效率.通过2组数据集分别在3组不同规模的集群上的实验表明,与MapReduce相比,在Spark平台下算法的执行效率平均提高了4.715倍,平均能耗效率只有Hadoop能耗的24.86％,能耗效率提升了4倍左右.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于炯	新疆大学信息科学与工程学院	176	1315	20.0	28.0
2	廖彬	新疆财经大学统计与信息学院	34	172	8.0	10.0
3	张陶	新疆大学信息科学与工程学院	16	95	7.0	9.0
7	国冰磊	新疆大学信息科学与工程学院	21	90	6.0	8.0
8	刘炎	清华大学软件学院	10	43	5.0	6.0