一种基于字词联合解码的中文分词方法

• 作者: 宋彦 张桂平 蔡东风 赵海
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 中文分词 联合解码 语言模型 条件随机场模型
• 年，卷（期）: 2009,（9）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 2366-2375
• 页数: 10页
• 分类号: TP301
• 字数: 9002字
• 语种: 中文
• DOI: 10.3724/SP.J.1001.2009.03606

摘要

近年来基于字的方法极大地提高了中文分词的性能,借助于优秀的学习算法,由字构词逐渐成为中文分词的主要技术路线.然而,基于字的方法虽然在发现未登录词方面有其优势,却往往在针对表内词的切分效果方面不及基于词的方法,而且还损失了一些词与词之间的信息以及词本身的信息.在此基础上,提出了一种结合基于字的条件随机场模型与基于词的Bi-gram语言模型的切分策略,实现了字词联合解码的中文分词方法,较好地发挥了两个模型的长处,能够有效地改善单一模型的性能,并在SIGHAN Bakeoff3的评测集上得到了验证,充分说明了合理的字词结合方法将有效地提高分词系统的性能,可以更好地应用于中文信息处理的各个方面.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张桂平	沈阳航空工业学院知识工程中心	58	447	11.0	19.0
2	蔡东风	沈阳航空工业学院知识工程中心	105	916	14.0	27.0
3	宋彦	沈阳航空工业学院知识工程中心	5	107	3.0	5.0
4	赵海	香港城市大学中文、翻译及语言学系	3	604	2.0	3.0