基于Spark Streaming的增量协同过滤算法

• 作者: 曾志武 蔡明
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 协同过滤 推荐系统 增量计算 实时流计算 SparkStreaming
• 年，卷（期）: 2018,（6）
• 所属期刊栏目: 算法与语言
• 页码范围: 88-91
• 页数: 4页
• 分类号: TP312
• 字数: 3089字
• 语种: 中文
• DOI: 10.11907/rjdk.173047

摘要

针对协同过滤算法处理大数据流时响应慢的缺陷,在改善推荐准确度的情况下,提出增量更新算法以加快响应速度,提高推荐系统性能.介绍了当前协同过滤算法以及KNN和Spark的相关知识,阐述了协同过滤算法的增量模型.采用Group Lens网站提供的Movie Lens数据集作为实验数据,应用Socket模拟流和Spark并行计算技术实现增量模型.实验结果显示,在保证推荐准确度的前提下,响应时间明显缩短,说明增量模型适合实时处理大数据流,可缓解数据处理不及时问题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蔡明	江南大学物联网工程学院	59	712	10.0	26.0
2	曾志武	江南大学物联网工程学院	1	1	1.0	1.0