基于FMM和CRFs双层分词模型的研究

• 作者: 金伟祖 鲁强
• 来源期刊: 电脑知识与技术
• 学科: 工学
• 关键词: 前向最大匹配算法 条件随机场 双层模型 召回率
• 年，卷（期）: 2008,（28）
• 所属期刊栏目: 人工智能及识别技术
• 页码范围: 166-168,177
• 页数: 4页
• 分类号: TP391
• 字数: 4209字
• 语种: 中文
• DOI: 10.3969/j.issn.1009-3044.2008.28.067

摘要

中文分词是众多自然语言处理任务的基本工作.该文提出了一个用双层模型进行中文分词的方法.首先在低层利用前向最大匹配算法(FMM)进行粗分词,并将切分结果传至高层;在高层利用CRFs对文本重新进行标注,其中低层的识别结果作为CRFs的一项特征.最后将对每个字的标注结果转换为相应的分词结果.跟以前单独利用CRF进行分词的模型相比,低层模型的加入对CRFs模型的标注起到了重要的辅助作用.在北京大学标注的1998年1月份的人民日报语料上进行了大量的实验.取得了精确率93.31%.召回率92.75%的切分结果.证明该方法是切实可行的.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	金伟祖		22	93	5.0	9.0
2	鲁强		2	4	1.0	2.0