基于CRFs边缘概率的中文分词

• 作者: 罗彦彦 黄德根
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 计算机应用 中文信息处理 中文分词 条件随机场(CRFs) 边缘概率 最大向前匹配(FMM) 全局特征
• 年，卷（期）: 2009,（5）
• 页码范围: 3-8
• 页数: 6页
• 分类号: TP391
• 字数: 5276字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2009.05.001

摘要

将分词问题转化为序列标注问题,使用CRFs标注器进行序列标注是近年来广泛采用的分词方法.针对这一方法中CRFs的标记错误问题,该文提出基于CRFs边缘概率的分词方法.该方法从标注结果中发掘边缘概率高的候选词,重组边缘概率低的候选词,提出FMM的奖励机制修正重组后的子串.在第四届SIGHAN Bakeoff中文简体语料SXU和NCC上进行闭式测试,分别在F-1值上达到了96.41%和94.30%的精度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄德根	大连理工大学计算机科学与工程系	70	1191	19.0	33.0
2	罗彦彦	大连理工大学计算机科学与工程系	1	33	1.0	1.0