基于ELMO的低资源神经机器翻译

• 作者: 王浩畅 孙孟冉 赵铁军
• 来源期刊: 计算机与现代化
• 关键词: 低资源 平行语料 预训练模型 神经机器 翻译模型
• 年，卷（期）: 2021,（7）
• 所属期刊栏目: 算法设计与分析|DESIGN AND ANALYSIS OF ALGORITHM
• 页码范围: 38-42
• 页数: 5页
• 分类号: TP38
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2021.07.007

摘要

低资源神经机器翻译的研究难点是缺乏大量的平行语料来给模型进行训练.随着预训练模型的发展,并且在各大自然语言处理任务中均取得很大的提升,本文提出一种融合ELMO预训练模型的神经机器翻译模型来解决低资源神经机器翻译问题.本文模型在土耳其语-英语低资源翻译任务上相比于反向翻译提升超过0.7个BLEU,在罗马尼亚语-英语翻译任务上提升超过0.8个BLEU.此外,在模拟的中-英、法-英、德-英、西-英这4组低资源翻译任务上相比于传统神经机器翻译模型分别提升2.3、3.2、2.6、3.2个BLEU.实验表明使用融合ELMO的模型来解决低资源神经机器翻译问题是有效的.