基于改进的混合自注意力机制模型的研究

• 作者: 高莹 马佳琳
• 来源期刊: 电视技术
• 学科: 工学
• 关键词: 自然语言处理 自注意力机制 稀疏矩阵 硬注意力
• 年，卷（期）: 2021,（12）
• 所属期刊栏目: 器件与设计|PARTS & DESIGN
• 页码范围: 120-122
• 页数: 3页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.16280/j.videoe.2021.12.034

摘要

自注意力机制被广泛应用于自然语言处理任务中.现有的自注意力机制通常使用软注意力模式,即使用密集注意力矩阵,但随着信息长度增长对应的权重变小,无法提取负面信息.针对以上问题,提出融合硬注意力机制即稀疏注意力矩阵来改进现有模型,充分提取文本中正负信息,弥补传统注意力矩阵不能为负的空白.