信息传递增强的神经机器翻译

• 作者: 史小静 宁秋怡 季佰军 段湘煜
• 来源期刊: 计算机工程与科学
• 学科: 文学
• 关键词: 神经网络 神经机器翻译 信息传递 信息退化 残差网络 门机制
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 人工智能与数据挖掘
• 页码范围: 134-141
• 页数: 8页
• 分类号: H085
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2021.01.016

摘要

神经机器翻译领域中多层神经网络结构能够显著提升翻译效果,但是多层神经网络结构存在信息传递的退化问题.为了缓解这一问题,提出了层间和子层间信息融合传递增强的方法,增强多层神经网络的层与层之间信息传递的能力.通过引入"保留门"机制来控制融合信息的传递权重,将融合信息与当前层的输出信息连接共同作为下一层的输入,使得信息传递更加充分.在目前最先进的多层神经网络T ransformer上进行相关的实验,在中英和德英翻译任务上的实验结果表明,该信息传递增强方法相比于基线系统,B L E U得分分别提高了0.66和0.42.