结合一维扩展卷积与Attention机制的NLP模型

• 作者: 廖文雄 曾碧 徐雅芸
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 扩展卷积 Attention机制 自然语言处理
• 年，卷（期）: 2021,（4）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 114-119
• 页数: 6页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1912-0057

摘要

自然语言处理作为人工智能的一个分支,在日常生活中有着广泛的应用.随着循环神经网络在自然语言处理领域的应用以及循环神经网络的不断演进与迭代,自然语言处理有了很大的飞跃.循环神经网络也因此迅速成为自然语言处理领域的主流算法,但是其具有结构复杂和训练时间漫长的缺点.提出一种基于一维扩展卷积和Attention机制的自然语言处理模型,利用一维扩展卷积提取语言文本的深层特征,再通过Attention机制给深层特征分配权重以整合各个时序特征.实验结果表明,该模型只需循环神经网络约30％的训练时间,就能达到与循环神经网络相近的性能,验证了该模型的有效性.