一种改进的基于后缀数组的无词典分词方法

• 作者: 刘京城 刘锋
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 自动分词 无词典分词 后缀数组
• 年，卷（期）: 2011,（11）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 49-52
• 分类号: TP31
• 字数: 4407字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2011.11.014

摘要

文中改进了基于后缀数组的无词典分词算法.原算法通过对输入字符集建立后缀数组并按字典序进行排列来筛选汉字结合模式形成候选词集,并通过置信度的比较来筛选候选词集以获得分词集.文中改进了其计算候选词出现频率的方法并且大大减少了筛选候选词集时两两判断候选词是否具有父子关系的次数.试验表明,改进的算法能够在没有词典的情况下更快速构建候选词集和筛选候选词集.适用于对词条频度敏感,对计算速度要求较高的中文信息处理.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘锋		77	392	11.0	16.0
2	刘京城		1	4	1.0	1.0