基于Self-Attention模型的机器翻译系统

• 作者: 吴水清 师岩 王宇
• 来源期刊: 计算机与现代化
• 学科: 工学
• 关键词: 神经机器翻译 Seq2Seq框架 注意力机制 Self-Attention模型
• 年，卷（期）: 2019,（7）
• 所属期刊栏目: 人工智能
• 页码范围: 9-14
• 页数: 6页
• 分类号: TP391
• 字数: 5232字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2019.07.002

摘要

近几年来神经机器翻译(Neural Machine Translation,NMT)发展迅速,Seq2Seq框架的提出为机器翻译带来了很大的优势,可以在观测到整个输入句子后生成任意输出序列.但是该模型对于长距离信息的捕获能力仍有很大的局限,循环神经网络(RNN)、LSTM网络都是为了改善这一问题提出的,但是效果并不明显.注意力机制的提出与运用则有效地弥补了该缺陷.Self-Attention模型就是在注意力机制的基础上提出的,本文使用Self-Attention为基础构建编码器-解码器框架.本文通过探讨以往的神经网络翻译模型,分析Self-Attention模型的机制与原理,通过TensorFlow深度学习框架对基于Self-Attention模型的翻译系统进行实现,在英文到中文的翻译实验中与以往的神经网络翻译模型进行对比,表明该模型取得了较好的翻译效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王宇	河海大学计算机与信息学院	42	139	7.0	9.0
2	师岩	河海大学计算机与信息学院	2	6	1.0	2.0
3	吴水清	河海大学计算机与信息学院	2	6	1.0	2.0