动态层次Transformer序列推荐算法

• 作者: 袁涛 牛树梓 李会元
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 序列推荐 动态层次建模 Transformer
• 年，卷（期）: 2022,（1）
• 所属期刊栏目: 信息检索与问答系统|Information Retrieval and Question Answering
• 页码范围: 117-126
• 页数: 10页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2022.01.013

摘要

序列化推荐任务根据用户历史行为序列,预测下一时刻即将交互的物品.大量研究表明:预测物品对用户历史行为序列的依赖是多层次的.已有的多尺度方法是针对隐式表示空间的启发式设计,不能显式地推断层次结构.为此,该文提出动态层次Transformer,来同时学习多尺度隐式表示与显式层次树.动态层次Transformer采用多层结构,自底向上根据当前层近邻注意力机制判断需要融合的块,动态生成块掩码.多尺度层次结构中,每层的组合结构由该层的块掩码矩阵推断出,每层的隐式表示由动态块掩码与 自注意力机制融合得到.该文提出的算法的预测准确度在MovieLens-100k和Amazon Movies and TV两个公共数据集上分别比当前最先进的基准方法提升了 2.09％和5.43％.定性分析的结果表明,该文模型学习到的多尺度结构是符合直觉的.