基于特征串的大规模中文网页快速去重算法研究

• 作者: 吴平博 陈群秀 马亮
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 计算机应用 中文信息处理 特征串 模糊匹配 去重算法 冗余网页
• 年，卷（期）: 2003,（2）
• 页码范围: 28-35
• 页数: 8页
• 分类号: TP391
• 字数: 7420字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2003.02.005

摘要

网页检索结果中,用户经常会得到内容相同的冗余页面,其中大量是由于网站之间的转载造成.它们不但浪费了存储资源,并给用户的检索带来诸多不便.本文依据冗余网页的特点引入模糊匹配的思想,利用网页文本的内容、结构信息,提出了基于特征串的中文网页的快速去重算法,同时对算法进行了优化处理.实验结果表明该算法是有效的,大规模开放测试的重复网页召回率达97.3%,去重正确率达99.5%.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈群秀	智能技术与系统国家重点实验室清华大学计算机科学与技术系	9	425	7.0	9.0
2	马亮	智能技术与系统国家重点实验室清华大学计算机科学与技术系	4	306	4.0	4.0
3	吴平博	智能技术与系统国家重点实验室清华大学计算机科学与技术系	4	327	4.0	4.0