基于Spark的并行化协同深度推荐模型

• 作者: 贾晓光
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 深度学习 推荐系统 协同深度学习 Spark
• 年，卷（期）: 2018,（14）
• 所属期刊栏目: 大数据与云计算
• 页码范围: 71-76
• 页数: 6页
• 分类号: TP312
• 字数: 5364字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1711-0152

摘要

协同深度学习(Collaborative Deep Learning,CDL)利用神经网络极强的特征学习能力和模型拟合鲁棒性,解决了推荐系统在数据稀疏的情况下性能表现急剧下降的问题.但当推荐系统面临大量数据时,导致模型训练变得难以维护,进而出现多种不可预料的问题.为解决上述问题,对协同深度学习及其并行化方法进行了研究,提出了一种针对项目内容学习优化的改进模型协同深度推荐(CDL with item private node,CDL-i),通过对传统CDL中的自编码网络进行改进,增加私有网络节点,在模型的网络参数共享情况下,为每个项目添加私有偏置项,使网络能够更针对性地学习到项目内容参数,改进了模型在推荐系统中对项目内容的探测性能.同时对算法进行并行化改进,通过对模型进行拆分,提出一种并行训练CDL-i的方法,将其移植到Spark分布式集群上,并行地对模型各部分参数进行训练优化,增强模型所能处理数据的规模和扩展性.通过在多个真实数据集上的实验,验证了提出的并行深度推荐算法的有效性和高效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	贾晓光	燕山大学信息科学与工程学院	11	23	3.0	4.0