一种无词典快速抽词算法的设计和实现

• 作者: 屈志毅 廖绍雯 张星
• 来源期刊: 科技与创新
• 关键词: 无词典 t-score 二分法 快速抽词
• 年，卷（期）: 2008,（27）
• 所属期刊栏目: 软件时空
• 页码范围: 181-183
• 页数: 3页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.3969/j.issn.1008-0570.2008.27.071

摘要

中文抽词在中文自然语言处理中是最基础的工作.本文提出了一种无词典的t-score和二分相结合的抽词算法.它首先对原始文本进行预处理.利用噪音词的辅助信息来做初始切分.经过处理后一部分词被抽取出来,存入结果集.接着利用本文的抽词算法来进行二次抽词.本算法应用了N-GrRm的思想.经过实验证明,该算法不但抽词速度快.而且抽取出的词相对长度大,维护了中文语言的完整性.为进一步进行语义分析和索引构建打下了良好的基础.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	屈志毅	兰州大学信息科学与工程学院	45	415	12.0	18.0
2	廖绍雯	兰州大学信息科学与工程学院	3	11	2.0	3.0