融合单语语言模型的汉越伪平行语料生成

• 作者: 贾承勋 赖华 余正涛 文永华 于志强
• 来源期刊: 计算机应用
• 关键词: 汉越神经机器翻译 数据增强 伪平行数据 单语数据 语言模型
• 年，卷（期）: 2021,（6）
• 所属期刊栏目: 人工智能|Artificial intelligence
• 页码范围: 1652-1658
• 页数: 7页
• 分类号: TP391
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2020071017

摘要

神经机器翻译在资源丰富的语种上取得了良好的翻译效果,但是由于数据稀缺问题在汉语-越南语这类低资源语言对上的性能不佳.目前缓解该问题最有效的方法之一是利用现有资源生成伪平行数据.考虑到单语数据的可利用性,在回译方法的基础上,首先将利用大量单语数据训练的语言模型与神经机器翻译模型进行融合,然后在回译过程中通过语言模型融入语言特性,以此生成更规范质量更优的伪平行数据,最后将生成的语料添加到原始小规模语料中训练最终翻译模型.在汉越翻译任务上的实验结果表明,与普通的回译方法相比,通过融合语言模型生成的伪平行数据使汉越神经机器翻译的BLEU值提升了1.41个百分点.