基于Map/Reduce的网页消重并行算法

• 作者: 张元丰 张凌 董守斌 陈晓志
• 来源期刊: 广西师范大学学报（自然科学版）
• 学科: 工学
• 关键词: 搜索引擎 网页消重 Map/Reduce
• 年，卷（期）: 2007,（2）
• 页码范围: 153-156
• 页数: 4页
• 分类号: TP391
• 字数: 3065字
• 语种: 中文
• DOI: 10.3969/j.issn.1001-6600.2007.02.036

摘要

网页消重模块是搜索引擎系统的重要组成部分,其作用是对搜索引擎的爬虫系统下载的网页进行过滤,去除重复内容的网页,从而提高搜索引擎爬虫系统的性能和检索的质量.提出了一种网页消重的并行算法以及基于Map/Reduce的实现机制,并通过实际网站的实验验证了该消重算法的稳定性和处理大量网页时的并行性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张凌	华南理工大学广东省计算机网络重点实验室	142	1178	18.0	28.0
2	董守斌	华南理工大学广东省计算机网络重点实验室	60	696	10.0	25.0
3	张元丰	华南理工大学广东省计算机网络重点实验室	3	21	3.0	3.0
4	陈晓志	华南理工大学广东省计算机网络重点实验室	3	21	3.0	3.0