基于元搜索的网页去重算法

• 作者: 宋桂江 张玉连 王莎莎
• 来源期刊: 燕山大学学报
• 学科: 工学
• 关键词: 元搜索 网页 去重 分词
• 年，卷（期）: 2011,（2）
• 所属期刊栏目: 计算机科学与技术
• 页码范围: 121-123,161
• 分类号: TP393
• 字数: 3346字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-791X.2011.02.006

摘要

针对元搜索的重复网页问题,提出基于元搜索的网页去重算法,并通过实验对算法进行有效性验证.该算法首先对各成员搜索引擎返回来的结果网页的URL进行比较,然后对各结果网页的标题进行有关处理,提取出网页的主题信息,再对摘要进行分词,计算摘要的相似度,三者结合能很好的检测出重复网页,实现网页去重.该算法有效,并且比以往算法有明显的优势,更接近人工统计结果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	宋桂江		13	21	3.0	4.0
2	张玉连	燕山大学信息科学与工程学院	17	179	9.0	13.0
3	王莎莎	燕山大学信息科学与工程学院	1	9	1.0	1.0