一种消除中文分词中交集型歧义的方法

• 作者: 沙先军 王永 王爱平 魏博诚
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 中文分词 互信息 交集型歧义
• 年，卷（期）: 2011,（5）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 60-63
• 分类号: TP31
• 字数: 4137字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2011.05.016

摘要

切分速度和精度是中文分词系统的两个主要性能指标.针对传统的中文分词中出现的分词速度慢和分词精度不高的问题,采用了双层hash结构的词典机制来提升分词的速度,对于匹配结果中出现的交集型歧义字段,通过互信息的方法来消除,以提高分词精度.并对该分词系统进行了实现.通过与传统的中文分词系统的分词速度以及分词效果的对比,发现该系统在分词速度和精度上都有所进步,从而取得较好的分词效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王爱平	安徽大学计算智能与信号处理教育部重点实验室	39	522	11.0	22.0
2	沙先军	安徽大学计算智能与信号处理教育部重点实验室	3	26	2.0	3.0
3	魏博诚	安徽大学计算智能与信号处理教育部重点实验室	3	26	2.0	3.0
4	王永	安徽大学计算智能与信号处理教育部重点实验室	5	18	2.0	4.0