统计与词典相结合的领域自适应中文分词

• 作者: 刘挺 张梅山 车万翔 邓知龙
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 中文分词 CRF 领域自适应
• 年，卷（期）: 2012,（2）
• 页码范围: 8-12
• 分类号: TP391
• 字数: 3721字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2012.02.002

摘要

基于统计的中文分词方法由于训练语料领域的限制,导致其领域自适应性能力较差.相比分词训练语料,领域词典的获取要容易许多,而且能为分词提供丰富的领域信息.该文通过将词典信息以特征的方式融入到统计分词模型(该文使用CRF统计模型)中来实现领域自适应性.实验表明,这种方法显著提高了统计中文分词的领域自适应能力.当测试领域和训练领域相同时,分词的F-measure值提升了2％；当测试领域和训练领域不同时,分词的F-measure值提升了6％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘挺	哈尔滨工业大学计算机学院社会计算与信息检索研究中心	142	4348	34.0	63.0
2	车万翔	哈尔滨工业大学计算机学院社会计算与信息检索研究中心	29	1137	12.0	29.0
3	张梅山	哈尔滨工业大学计算机学院社会计算与信息检索研究中心	5	150	4.0	5.0
4	邓知龙	哈尔滨工业大学计算机学院社会计算与信息检索研究中心	1	91	1.0	1.0