面向信息检索的自适应中文分词系统

• 作者: 刘超 曹勇刚 曹羽中 金茂忠
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 分词系统 分词算法 信息检索 新词识别 歧义消解
• 年，卷（期）: 2006,（3）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 356-363
• 页数: 8页
• 分类号: TP391
• 字数: 8102字
• 语种: 中文

摘要

新词的识别和歧义的消解是影响信息检索系统准确度的重要因素.提出了一种基于统计模型的、面向信息检索的自适应中文分词算法.基于此算法,设计和实现了一个全新的分词系统BUAASEISEG.它能够识别任意领域的各类新词,也能进行歧义消解和切分任意合理长度的词.它采用迭代式二元切分方法,对目标文档进行在线词频统计,使用离线词频词典或搜索引擎的倒排索引,筛选候选词并进行歧义消解.在统计模型的基础上,采用姓氏列表、量词表以及停词列表进行后处理,进一步提高了准确度.通过与著名的ICTCLAS分词系统针对新闻和论文进行对比评测,表明BUAASEISEG在新词识别和歧义消解方面有明显的优势.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	金茂忠	北京航空航天大学计算机学院	124	2563	23.0	48.0
2	刘超	北京航空航天大学计算机学院	138	2512	20.0	47.0
3	曹勇刚	北京航空航天大学计算机学院	5	204	3.0	5.0
4	曹羽中	北京航空航天大学计算机学院	4	194	3.0	4.0