深度学习推荐模型中的注意力机制研究综述

• 作者: 高广尚
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 注意力机制 神经网络 深度学习 深度学习推荐模型
• 年，卷（期）: 2022,（9）
• 所属期刊栏目: 热点与综述|Research Hotspots and Reviews
• 页码范围: 9-18
• 页数: 10页
• 分类号: TP393|C931.6
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2112-0382

摘要

探讨注意力机制如何帮助推荐模型动态关注有助于执行当前推荐任务输入的特定部分.分析注意力机制网络框架及其输入数据的权重计算方法,分别从标准注意力机制、协同注意力机制、自注意力机制、层级注意力机制和多头注意力机制这五个角度出发,归纳分析其如何采用关键策略、算法或技术来计算当前输入数据的权重,并通过计算出的权重以使推荐模型可以在推荐任务的每个步骤上专注于输入的必要部分,从而产生更为有效的用户或物品特征表示,进而提高推荐模型的运行效率、泛化能力等.注意力机制可以帮助推荐模型对输入的每个部分赋予不同的权重,抽取出更加关键及重要的信息,使推荐模型做出更加准确的判断,同时不会对推荐模型的计算和存储带来更大的开销.尽管现有融合注意力机制的深度学习推荐模型能在一定程度上满足大部分推荐任务的需求,但可以肯定的是,在特定情况下人类需求的不确定性、信息的爆炸式增长这两个因素,将使得其仍然面临着推荐多样性、推荐可解释性和多种辅助信息融合等方面的挑战.