Transformer-CRF词切分方法在蒙汉机器翻译中的应用

• 作者: 仁庆道尔吉 张振 牛向华 苏依拉 赵亚平 高芬
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 蒙汉翻译 Transformer-CRF分词算法 蒙古语词素
• 年，卷（期）: 2019,（10）
• 所属期刊栏目: 机器翻译
• 页码范围: 38-46
• 页数: 9页
• 分类号: TP391
• 字数: 7810字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2019.10.005

摘要

基于编码—解码(端到端)结构的机器翻译逐渐成为自然语言处理之机器翻译的主流方法,其翻译质量较高且流畅度较好,但依然存在词汇受限、上下文语义信息丢失严重等问题.该文首先进行语料预处理,给出一种Transformer-CRF算法来进行蒙古语词素和汉语分词的预处理方法.然后构建了基于Tensor2Tensor的编码—解码模型,为了从蒙古语语料中学习更多的语法和语义知识,该文给出了一种基于词素四元组编码的词向量作为编码器输入,解码阶段.为了进一步缓解神经网络训练时出现的词汇受限问题,该文将专有名词词典引入翻译模型来进一步提高翻译质量和译文忠实度.根据构建模型对不同长度句子进行实验对比,表明模型在处理长时依赖问题上翻译性能得到提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	苏依拉	内蒙古工业大学信息工程学院	65	139	6.0	9.0
2	张振	内蒙古工业大学信息工程学院	4	0	0.0	0.0
3	牛向华	内蒙古工业大学信息工程学院	7	2	1.0	1.0
4	高芬	内蒙古工业大学信息工程学院	8	0	0.0	0.0
5	赵亚平	内蒙古工业大学信息工程学院	8	2	1.0	1.0
6	仁庆道尔吉	内蒙古工业大学信息工程学院	27	22	3.0	3.0