基于Spark的Slope One算法优化与实现

• 作者: 唐坚刚 梁化强
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: SlopeOne 聚类 用户相似性 项目相似度 Spark
• 年，卷（期）: 2018,（6）
• 所属期刊栏目: 算法与语言
• 页码范围: 92-94,99
• 页数: 4页
• 分类号: TP312
• 字数: 3206字
• 语种: 中文
• DOI: 10.11907/rjdk.172877

摘要

传统Slope One算法未考虑用户相似性和项目相似性对评分效果的影响,从而导致推荐准确率不高,并且在当前大数据背景下,传统Slope One算法运行效率低下.针对以上问题,提出一种基于Spark的改进加权Slope One算法,该算法融入了相似性计算、活跃用户筛选和用户聚类等技术,并在Spark平台上实现了并行化.通过在Mov-ieLens数据集上进行试验验证,并比较算法在Spark和Hadoop平台并行化的运行效率,证实了该算法可以有效降低MAE,且在Spark平台下运行效率更高,更适用于大数据处理场景.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	唐坚刚	上海理工大学光电信息与计算机工程学院	17	54	5.0	6.0
2	梁化强	上海理工大学光电信息与计算机工程学院	1	1	1.0	1.0