基于FMM和CRFs双层分词模型的研究

• 作者: 金伟祖 鲁强
• 来源期刊: 电脑知识与技术：学术交流
• 学科: 工学
• 关键词: 前向最大匹配算法 条件随机场 双层模型 召回率
• 年，卷（期）: 2008,（10）
• 页码范围: 166-168
• 页数: 3页
• 分类号: TP391

摘要

中文分词是众多自然语言处理任务的基本工作。该文提出了一个用双层模型进行中文分词的方法。首先在低层利用前向最大匹配算法（FMM）进行粗分词，并将切分结果传至高层；在高层利用CRFs对文本重新进行标注，其中低层的识别结果作为CRFs的一项特征，最后将对每个字的标注结果转换为相应的分词结果。，跟以前单独利用CRF进行分词的模型相比．低层模型的加入对CRFs模型的标注起到了重要的辅助作用。在北京大学标注的1998年1月份的人民日报语料上进行了大量的实验，取得了精确率93．31％，召回车92．75％的切分结果，证明该方法是切实可行的。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	金伟祖		22	93	5.0	9.0
2	鲁强		2	4	1.0	2.0