Spark平台下电影推荐系统的设计

• 作者: 房靖力 李光明
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: Spark Hadoop MLlib 协同过滤 电影推荐系统
• 年，卷（期）: 2020,（11）
• 所属期刊栏目: 软件技术与研究
• 页码范围: 28-34
• 页数: 7页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2020.11.005

摘要

传统基于Hadoop或单机下基于Mahout构建的电影推荐系统面对数据量不断增大以及推荐算法模型需要大量迭代的情况时,会出现推荐效果差、运行速度明显下降、无法实时为用户进行个性化推荐的情况.针对以上问题,以电影评分数据集为背景,使用Hadoop、Spark、Kafka、Hive等大数据处理技术进行系统架构搭建,并采用改进后的余弦相似性的协同过滤和基于用户喜爱物品的物品协同过滤算法对MLlib协同过滤算法模型进行改进,对离线数据以及实时数据进行计算,产生TOP-N推荐结果,实现Spark平台下电影推荐系统.实验结果表明,在Spark平台下,该系统相较传统方法不仅数据处理速度和推荐准确性显著提升,而且稳定性更强.