Spark DAG优化MapReduce协同过滤算法

• 作者: 于炯 刘炎 国冰磊 廖彬 张旭光 张陶
• 来源期刊: 中山大学学报(自然科学版)
• 学科: 工学
• 关键词: 协同过滤 MapReduce Spark 算法优化 能耗优化
• 年，卷（期）: 2017,（3）
• 页码范围: 46-56
• 页数: 11页
• 分类号: TP393.09
• 字数: 6079字
• 语种: 中文
• DOI: 10.13471/j.cnki.acta.snus.2017.03.008

摘要

大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,高效率低成本的大数据处理技术成为学术界及工业界的研究热点.为提高协同过滤算法的执行效率,对MapReduce架构下的算法执行步骤进行了分解,并对算法执行缺陷进行了分析.结合Spark适于迭代型及交互型任务的特点,提出将算法从MapReduce平台移植Spark平台的改进思路.设计了算法在Spark中的实现流程,并通过参数调整、内存优化等方法进一步提高算法效率.实验结果表明:与MapReduce平台中的算法相比,基于Spark DAG调度的算法能够减少65%以上的HDFS重复I/O操作,执行效率与能耗效率分别提升近200%及50%.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于炯	新疆大学信息科学与工程学院	176	1315	20.0	28.0
2	廖彬	新疆财经大学统计与信息学院	34	172	8.0	10.0
3	张陶	新疆大学信息科学与工程学院	16	95	7.0	9.0
7	国冰磊	新疆大学信息科学与工程学院	21	90	6.0	8.0
8	张旭光	新疆财经大学统计与信息学院	5	21	2.0	4.0
9	刘炎	清华大学软件学院	10	43	5.0	6.0