注意力机制综述

• 作者: 任欢 王旭光
• 来源期刊: 计算机应用
• 关键词: 注意力机制 深度学习 位置关系 信息特征 关键信息 transformer reformer
• 年，卷（期）: 2021,（z1）
• 所属期刊栏目: 人工智能|Artificial intelligence
• 页码范围: 1-6
• 页数: 6页
• 分类号: TP183
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2020101634

摘要

现在注意力机制已广泛地应用在深度学习的诸多领域.基于注意力机制的结构模型不仅能够记录信息间的位置关系,还能依据信息的权重去度量不同信息特征的重要性.通过对信息特征进行相关与不相关的抉择建立动态权重参数,以加强关键信息弱化无用信息,从而提高深度学习算法效率同时也改进了传统深度学习的一些缺陷.从图像处理、自然语言处理、数据预测等不同应用方面介绍了一些与注意力机制结合的算法结构,并对近几年大火的基于注意力机制的transformer和reformer算法进行了综述.鉴于注意力机制的重要性,综述了注意力机制的研究发展,分析了注意力机制目前的发展现状并探讨了该机制未来可行的研究方向.