基于Hadoop平台的Spark快数据推荐算法分析与应用

• 作者: 吴雪琴 陈虹君
• 来源期刊: 现代电子技术
• 关键词: Hadoop Spark 快数据 ALS算法 PageRank算法
• 年，卷（期）: 2016,（10）
• 所属期刊栏目: 科学计算与信息处理
• 页码范围: 18-20
• 页数: 3页
• 分类号: TN911-34
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2016.10.005

摘要

Hadoop大数据平台上可以搭建Yarn,Mahout,Storm,GraphLab等框架,其提供了大数据的各种处理能力.但它们各自按自己的机制工作,整合度极低.虽然在Mahout框架中,对机器学习的算法支持较为完善,但是数据必需是离线的.在大数据时代,要求不仅具有处理能力,还强调了数据的时效性,以前的框架都显得有点力不从心.Spark是Hadoop平台上的新型利器,它的各个部分几乎能替代以前的分散的框架,且采用统一的处理机制,整合度很好,速度比传统处理方式快几十倍甚至几百倍.基于Hadoop平台的Spark快数据推荐算法分析与应用是在Hadoop平台上用Yarn作资源管理,Spark作快数据的处理,这极大地提高了大数据的处理效率.该文以专业推荐系统为应用基础,采用Yarn作资源管理,及SparkALS算法做推荐,Spark PageRank算法做专业排名,实验结果表明,Spark框架对大数据的处理机制能够满足日益增值的大数据应用对速度的要求.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈虹君	电子科技大学成都学院	7	73	4.0	7.0
2	吴雪琴		15	46	4.0	6.0