基于多覆盖模型的神经机器翻译

• 作者: 刘俊鹏 黄锴宇 李玖一 宋鼎新 黄德根
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 神经机器翻译 注意力机制 序列到序列模型 多覆盖模型 过度翻译 漏翻译
• 年，卷（期）: 2022,（3）
• 所属期刊栏目: 模式识别与人工智能|PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE
• 页码范围: 1141-1152
• 页数: 12页
• 分类号: TP183
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.006201

摘要

覆盖模型可以缓解神经机器翻译中的过度翻译和漏翻译问题.现有方法通常依靠覆盖向量或覆盖分数等单一方式存储覆盖信息,而未考虑不同覆盖信息之间的关联性,因此对信息的利用并不完善.针对该问题,基于翻译历史信息的一致性和模型之间的互补性,提出了多覆盖融合模型.首先定义词级覆盖分数概念;然后利用覆盖向量和覆盖分数存储的信息同时指导注意力机制,降低信息存储损失对注意力权重计算的影响.根据两种覆盖信息融合方式的不同,提出了两种多覆盖融合方法.利用序列到序列模型在中英翻译任务上进行了实验,结果表明,所提方法能够显著提升翻译性能,并改善源语言和目标语言的对齐质量.与只使用覆盖向量的模型相比,过度翻译和漏翻译问题的数量得到进一步减少.