分布式Web Crawler的研究:结构、算法和策略

• 作者: 于水 叶允明 宋晖 张岭 马范援
• 来源期刊: 电子学报
• 学科: 工学
• 关键词: Web爬虫 爬行策略 分布式系统
• 年，卷（期）: 2002,（z1）
• 所属期刊栏目: 学术论文
• 页码范围: 2008-2011
• 页数: 4页
• 分类号: TP391|TP393
• 字数: 3948字
• 语种: 中文
• DOI: 10.3321/j.issn:0372-2112.2002.z1.023

摘要

本文介绍了一个大型分布式Web Crawler系统--Igloo 1.2版.它采用分布式的系统结构,通过我们设计的二级哈希映射算法使系统可以进行高效的任务分割,并且系统的规模动态可扩展.爬行网页的质量是评价Crawler的一个重要指标,Igloo以PageRank值作为网页质量评价的标准,从而提高了爬行质量.加快爬行速度的关键是如何解除Crawler系统中的性能瓶颈,本文对此也作了详细的讨论,并提出了一种基于"滞后合并"策略的URL数据库存取方法.实验表明,Igloo在保持高性能的同时能快速爬行到高质量的网页.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	马范援	上海交通大学计算机科学与工程系	64	1043	18.0	31.0
2	宋晖	上海交通大学计算机科学与工程系	4	172	4.0	4.0
3	张岭	上海交通大学计算机科学与工程系	6	274	6.0	6.0
4	叶允明	上海交通大学计算机科学与工程系	3	164	3.0	3.0
5	于水	上海交通大学计算机科学与工程系	15	426	11.0	15.0