一种基于后缀数组的无词典分词方法

• 作者: 左万利 张长利 赫枫龄
• 来源期刊: 吉林大学学报（理学版）
• 学科: 工学
• 关键词: 中文信息处理 中文自动分词 后缀数组 散列表
• 年，卷（期）: 2004,（4）
• 所属期刊栏目: 计算机科学
• 页码范围: 548-553
• 页数: 6页
• 分类号: TP391.12
• 字数: 5827字
• 语种: 中文
• DOI: 10.3321/j.issn:1671-5489.2004.04.015

摘要

提出一种基于后缀数组的无词典分词算法.该算法通过后缀数组和利用散列表获得汉字的结合模式,通过置信度筛选词.实验表明,在无需词典和语料库的前提下,该算法能够快速准确地抽取文档中的中、高频词.适用于对词条频度敏感、对计算速度要求高的中文信息处理.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	左万利	吉林大学计算机科学与技术学院	88	1273	20.0	31.0
2	赫枫龄	吉林大学计算机科学与技术学院	34	590	13.0	24.0
3	张长利	吉林大学计算机科学与技术学院	2	71	2.0	2.0