基于Spark的并行ALS协同过滤算法研究

• 作者: 侯敬儒 吴晟 李英娜
• 来源期刊: 计算机与数字工程
• 学科: 工学
• 关键词: ALS 协同过滤 矩阵分解 HighAvailable Spark
• 年，卷（期）: 2017,（11）
• 所属期刊栏目: 信息处理与网络安全
• 页码范围: 2197-2201
• 页数: 5页
• 分类号: TP301
• 字数: 3611字
• 语种: 中文
• DOI: 10.3969/j.issn.1672-9722.2017.11.024

摘要

ALS(最小二乘法)协同过滤推荐算法是通过矩阵分解进行推荐,它通过综合大量的用户评分数据进行计算,并存储计算过程中产生的大量特征矩阵.Hadoop的HA(高可用性)用来解决HDFS分布式文件系统的NameNode单点故障问题.Spark是一种基于内存的新型分布式大数据计算框架,具有优异的计算性能.文章基于QJM(Quorum Journal Manag-er)构建了HA下的Hadoop大数据平台,并在Spark计算框架基础上研究使用ALS协同过滤算法,实现基于ALS协同过滤算法在Spark上的并行化运行;通过和基于Hadoop的MapReduce思想的ALS协同过滤算法在Netflix数据集上的比对实验表明,基于Spark平台的ALS协同过滤算法的并行化计算效率有明显提升,并且更适合处理海量数据.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴晟	昆明理工大学信息工程与自动化学院	87	334	10.0	15.0
2	李英娜	昆明理工大学信息工程与自动化学院	148	412	10.0	12.0
3	侯敬儒	昆明理工大学信息工程与自动化学院	3	10	2.0	3.0