一种面向大规模网页去重的三层分布式架构

• 作者: 袁林 贲兴龙 贾大文
• 来源期刊: 计算机与数字工程
• 关键词: 网页去重 网络爬虫 分布式架构
• 年，卷（期）: 2015,（10）
• 所属期刊栏目: 专栏 ? Web 信息系统及应用
• 页码范围: 1751-1755
• 页数: 5页
• 字数: 3327字
• 语种: 中文
• DOI: 10.3969/j.issn.1672-9722.2015.10.007

摘要

去除重复网页是网页爬取过程中必要的步骤，目前人们对网页去重方法的研究集中在基于网页内容相似的去重算法本身的准确性和算法复杂度上。论文提出一种面向大规模网页去重的三层分布式架构，其利用本地缓存、分布式缓存及分布式索引高效地判断重复网页，特别适用于网页内容更新频繁需要反复爬取的应用场景。实验分析结果表明论文提出的三层分布式架构可以支持分布式网络爬虫环境下大规模的网页去重需求，并且具有较好的可扩展性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	贲兴龙		1	1	1.0	1.0
2	贾大文		2	14	1.0	2.0
3	袁林		8	4	1.0	2.0