子字粒度切分在蒙汉神经机器翻译中的应用

• 作者: 任众 侯宏旭 吉亚图 武子玉 白天罡 雷颖
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 蒙汉神经机器翻译 数据稀疏 子字粒度切分
• 年，卷（期）: 2019,（1）
• 所属期刊栏目: 机器翻译
• 页码范围: 85-92
• 页数: 8页
• 分类号: TP391
• 字数: 5025字
• 语种: 中文

摘要

在蒙汉神经机器翻译任务中,由于语料稀少使得数据稀疏问题严重,极大影响了模型的翻译效果.该文对子字粒度切分技术在蒙汉神经机器翻译模型中的应用进行了研究.通过BPE算法将切分粒度控制在字符和词之间的子字粒度大小,将低频词切分成相对高频的子字片段,来缓解数据稀疏问题,从而在有限的数据和硬件资源条件下,更高效地提升模型的鲁棒性.实验表明,在两种网络模型中使用子字粒度切分技术,BLEU值分别提升了4.81和2.96,且随着语料的扩大,训练周期缩短效果也更加显著,说明子字粒度切分技术有助于提高蒙汉神经机器翻译效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	侯宏旭	内蒙古大学计算机学院	23	215	7.0	14.0
2	任众	内蒙古大学计算机学院	2	4	1.0	2.0
3	吉亚图	内蒙古大学计算机学院	1	3	1.0	1.0
4	武子玉	内蒙古大学计算机学院	1	3	1.0	1.0
5	白天罡	内蒙古大学计算机学院	1	3	1.0	1.0
6	雷颖	内蒙古大学计算机学院	1	3	1.0	1.0