注意力机制在深度学习中的研究进展

• 作者: 吴渊 张钰 朱张莉 祁江楠 饶元
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 深度学习 注意力机制 编码器—解码器
• 年，卷（期）: 2019,（6）
• 所属期刊栏目: 综述
• 页码范围: 1-11
• 页数: 11页
• 分类号: TP391
• 字数: 10790字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2019.06.001

摘要

注意力机制逐渐成为目前深度学习领域的主流方法和研究热点之一,它通过改进源语言表达方式,在解码中动态选择源语言相关信息,从而极大改善了经典Encoder-Decoder框架的不足.该文在提出传统基于Encoder-Decoder框架中存在的长程记忆能力有限、序列转化过程中的相互关系、模型动态结构输出质量等问题的基础上,描述了注意力机制的定义和原理,介绍了多种不同的分类方式,分析了目前的研究现状,并叙述了目前注意力机制在图像识别、语音识别和自然语言处理等重要领域的应用情况.同时,进一步从多模态注意力机制、注意力的评价机制、模型的可解释性及注意力与新模型的融合等方面进行了探讨,从而为注意力机制在深度学习中的应用提供新的研究线索与方向.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	饶元	西安交通大学软件学院社会智能与复杂数据处理实验室	32	596	14.0	24.0
2	张钰	陕西师范大学计算机科学学院	5	10	2.0	3.0
3	朱张莉	西安交通大学软件学院社会智能与复杂数据处理实验室	1	3	1.0	1.0
4	吴渊	西安交通大学软件学院社会智能与复杂数据处理实验室	1	3	1.0	1.0
5	祁江楠	西安交通大学软件学院社会智能与复杂数据处理实验室	1	3	1.0	1.0