一种基于重复串的STC改进算法

• 来源期刊: 科技与创新
• 关键词: 网页去重 STC算法 重复串
• 年，卷（期）: 2009,（27）
• 所属期刊栏目: 软件时空
• 页码范围: 206-208
• 页数: 3页
• 分类号: TP393.092
• 语种: 中文
• DOI: 10.3969/j.issn.2095-6835.2009.27.082

摘要

目前文本去重算法主要以基于信息指纹去重、特征码去重为主,用上述算法去重时容易产生误判.本文提出了一种改进的算法,核心思想是对字符重复串进行抽取,使用重复串作为短语标引生成后缀树,并映射生成倒排索引进行STC算法去重.实验证实了改进算法有着良好的准确率和召回率,并有着优良的时间和空间特性.