EM算法在神经机器翻译模型中的应用研究

• 作者: 杨云 王全
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 语料扩充 EM算法 迭代训练 Transformer 语料混合
• 年，卷（期）: 2020,（8）
• 所属期刊栏目: 算法
• 页码范围: 250-255
• 页数: 6页
• 分类号: TP391.2
• 字数: 5027字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2020.08.043

摘要

传统的机器翻译模型的性能受限于双语平行语料库的规模,仅使用单语数据的无监督机器翻译方法难以有效保证模型性能的稳定.针对该问题,提出一种联合EM算法的自动语料扩充方法.利用生成的单语料结合原数据集构建平行语料,进行模型的迭代训练.根据部分双语语料初始化预训练两个单向Transformer模型;通过联合EM算法进行模型优化;通过逐渐减少训练数据的翻译损失来迭代更新两个相对翻译任务上机器翻译模型.实验结果表明,基于单双语料混合的EM迭代训练方法相比使用全双语数据的监督机器翻译方法和仅使用单语数据的无监督机器翻译方法,在中英机器翻译任务上具有更好的表现.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨云	陕西科技大学电子信息与人工智能学院	94	431	11.0	17.0
2	王全	陕西科技大学电子信息与人工智能学院	2	0	0.0	0.0