基于网页正文主题和摘要的网页去重算法

• 作者: 刘连芳 周小平 梁一平 申文明 黄家裕
• 来源期刊: 广西科学院学报
• 学科: 工学
• 关键词: 去重 网页 分词 相似度 元搜索
• 年，卷（期）: 2009,（4）
• 页码范围: 251-253
• 页数: 3页
• 分类号: TP391.3
• 字数: 2608字
• 语种: 中文
• DOI: 10.3969/j.issn.1002-7378.2009.04.004

摘要

针对元搜索返回的网页内容相同,别名差异很大的重复网页,提出基于网页正文主题和摘要的网页去重算法,并通过实验对算法进行有效性验证.该算法首先对各成员搜索引擎返回来的网页标题进行有关处理,提取出网页的主题信息,然后对摘要进行分词,再计算摘要的相似度,二者结合能更好地现出文章摘要的内容,实现网页去重.该算法有效,并且比基于传统特征码的算法有明显的优势,更接近人工统计结果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周小平	广西大学计算机与电子信息学院	8	28	3.0	5.0
2	黄家裕		3	18	3.0	3.0
3	刘连芳	广西大学计算机与电子信息学院	10	184	6.0	10.0
7	梁一平	广西大学计算机与电子信息学院	2	13	2.0	2.0
8	申文明	广西大学计算机与电子信息学院	3	18	3.0	3.0