基于Spark的混合协同过滤算法改进与实现

• 作者: 向勇 孙卫真 王源龙
• 来源期刊: 计算机应用研究
• 关键词: 集成学习 协同过滤 稀疏性 扩展性 Spark流式计算 增量模型 分类
• 年，卷（期）: 2019,（3）
• 所属期刊栏目: 系统应用开发
• 页码范围: 855-860
• 页数: 6页
• 分类号: TP301.6
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2017.10.0933

摘要

针对传统协同过滤在推荐过程中存在的稀疏性、扩展性以及个性化问题,通过引入算法集成的思想,旨在优化和改进一种新型的基于Spark平台下的混合协同过滤.借鉴Stacking集成学习思想,将多个弱推荐器线性加权组合,形成综合性强的推荐器.算法基于近邻协同过滤,结合分类、流行度、好评度等对近邻相似度计算策略进行优化,旨在改善相似度的合理性以及相似度计算的复杂度,在一定程度上改善了评分稀疏性的问题;算法结合Spark分布式计算平台,充分借鉴分布式平台的优点,利用其流式处理以及分布式存储结构等特性,设计并实现一种推荐算法的增量迭型,解决了协同过滤算法扩展性和实时性问题.实验数据采用UCI公用数据集MovieLens和NetFlix电影评分数据.实验结果表明,改进算法在推荐个性化、准确率以及扩展性上都有不错的表现,较以前同类型算法均有不同程度的提高,为推荐系统的应用提供一种可行的算法集成方案.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	向勇	清华大学计算机科学与技术系	69	2178	15.0	46.0
2	孙卫真	首都师范大学信息工程学院计算机科学与技术系	24	93	7.0	8.0
3	王源龙	首都师范大学信息工程学院计算机科学与技术系	1	4	1.0	1.0