基于后缀数组的分词技术

• 作者: 代余彪 任雪利
• 来源期刊: 计算机系统应用
• 学科: 工学
• 关键词: 后缀数组 分词 公共前缀长度
• 年，卷（期）: 2010,（8）
• 页码范围: 229-230,211
• 分类号: TP3
• 字数: 1989字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-3254.2010.08.052

摘要

中文分词技术是机器翻译、分类、搜索引擎以及信息检索的基础,但是,互联网上不断出现的新词严重影响了分词的性能,为了提高新词的识别率,建立待分词内容的后缀数组,然后计算其公共前缀共同出现的次数,采用阈值对其进行过滤筛选出候选词语,实验结果表明,该方法在新词识别方面有一定的优势.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	代余彪	曲靖师范学院计算机科学与工程学院	13	19	2.0	4.0
2	任雪利	曲靖师范学院计算机科学与工程学院	18	56	5.0	6.0