一种适用于机器翻译的汉语分词方法

• 作者: 奚宁 李博渊 陈家骏 黄书剑
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 中文分词 统计机器翻译 对齐可信度
• 年，卷（期）: 2012,（3）
• 页码范围: 54-58,78
• 分类号: TP391
• 字数: 5038字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2012.03.010

摘要

汉语分词是搭建汉语到其他语言的统计机器翻译系统的一项重要工作.从单语语料中训练得到的传统分词模型并不一定完全适合机器翻译[1].该文提出了一种基于单语和双语知识的适应于统计机器翻译系统的分词方法.首先利用对齐可信度的概念从双语字对齐语料中抽取可信对齐集合,然后根据可信对齐集合对双语语料中的中文部分重新分词；接着将重新分词的结果和单语分词工具的分词结果相融合,得到新的分词结果,并将其作为训练语料,利用条件随机场模型训练出一个融合了单双语知识的分词工具.该文用该工具对机器翻译所需的训练集、开发集和测试集进行分词,并在基于短语的统计机器翻译系统上进行实验.实验结果表明,该文所提的方法提高了系统性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈家骏	南京大学计算机科学与技术系	61	1082	18.0	31.0
2	奚宁	南京大学软件新技术国家重点实验室	3	15	3.0	3.0
3	李博渊	南京大学计算机科学与技术系	1	6	1.0	1.0
4	黄书剑	南京大学软件新技术国家重点实验室	8	88	4.0	8.0