利用单语数据改进神经机器翻译压缩模型的翻译质量

• 作者: 刘洋 刘群 李响 陈伟
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 神经机器翻译 知识蒸馏 单语数据
• 年，卷（期）: 2019,（7）
• 所属期刊栏目: 机器翻译
• 页码范围: 46-55
• 页数: 10页
• 分类号: TP391
• 字数: 7847字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2019.07.006

摘要

该文提出利用一个大型且精度高的神经机器翻译模型(教师模型)从单语数据中提取隐性双语知识,从而改进小型且精度低的神经机器翻译模型(学生模型)的翻译质量.该文首先提出了"伪双语数据"的教学方法,利用教师模型翻译单语数据获得的合成双语数据改进学生模型,然后提出了"负对数似然—知识蒸馏联合优化"教学方法,除了利用合成双语数据,还利用教师模型获得的目标语言词语概率分布作为知识,从而在知识蒸馏框架下提高学生模型的翻译质量.实验证明,在中英和德英翻译任务上,使用该方法训练的学生模型不仅在领域内测试集上显著超过了基线学生模型,而且在领域外测试集上的泛化性能也得到了提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘洋	清华大学计算机科学与技术系	71	308	9.0	16.0
2	李响	中国科学院计算技术研究所智能信息处理重点实验室	27	171	7.0	12.0
6	陈伟	北京搜狗科技发展有限公司语音交互技术中心	3	3	1.0	1.0
7	刘群		1	1	1.0	1.0