基于Spark的ItemBased推荐算法性能优化

• 作者: 于炯 刘炎 国冰磊 廖彬 张旭光 张陶
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 协同过滤 MapReduce Spark算法 性能优化 有向非循环图
• 年，卷（期）: 2017,（7）
• 所属期刊栏目: 先进计算
• 页码范围: 1900-1905
• 页数: 6页
• 分类号: TP393.09
• 字数: 5871字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2017.07.1900

摘要

MapReduce计算场景下,复杂的大数据挖掘类算法通常需要多个MapReduce作业协作完成,但多个作业之间严重的冗余磁盘读写及重复的资源申请操作,使得算法的性能严重降低.为提高ltemBased推荐算法的计算效率,首先对MapReduce平台下ItemBased协同过滤算法存在的性能问题进行了分析;在此基础上利用Spark迭代计算及内存计算上的优势提高算法的执行效率,并实现了基于Spark平台的ItemBased推荐算法.实验结果表明:当集群节点规模分别为10与20时,算法在Spark中的运行时间分别只有MapReduce中的25.6％及30.8％,Spark平台下的算法相比MapReduee平台,执行效率整体提高3倍以上.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于炯	新疆大学信息科学与工程学院	176	1315	20.0	28.0
2	廖彬	新疆财经大学统计与信息学院	34	172	8.0	10.0
3	张陶	新疆医科大学医学工程技术学院	16	95	7.0	9.0
7	国冰磊	新疆大学信息科学与工程学院	21	90	6.0	8.0
8	张旭光	新疆财经大学统计与信息学院	5	21	2.0	4.0
9	刘炎	清华大学软件学院	10	43	5.0	6.0