基于深度学习的Spark电影推荐系统设计

• 作者: 关凯轩 禹素萍
• 来源期刊: 科学技术创新
• 学科: 工学
• 关键词: SparkTensorFlow DIN 电影推荐系统
• 年，卷（期）: 2021,（32）
• 所属期刊栏目: 信息技术
• 页码范围: 131-135
• 页数: 5页
• 分类号: TP391.3
• 语种: 中文
• DOI: 10.3969/j.issn.1673-1328.2021.32.047

摘要

传统的推荐算法,如协同过滤等只能进行输入特征之间的简单组合,不能很好的挖掘特征之间的隐含信息,表达能力不强,很难为用户提供个性化推荐,近些年来深度学习在推荐系统领域的应用取得了很好的推荐效果.本文主要采用DIN深度学习模型作为排序层算法,采用Embedding技术作为快速召回算法,并利用TensorFlow Server建立模型服务;采用HDFS,Spark,Kafka,Flink等大数据存储,传输,计算框架完成特征的存储、离线计算与实时计算,通过对用户历史行为以及实时特征的采集处理,结合推荐算法完成对用户的离线推荐与实时推荐,生成用户感兴趣的Top-N电影列表,通过SSM框架实现完整的推荐系统前后端搭建.该系统保证了运行时的稳定性,推荐实时性,并在一定程度上提升了推荐效果.