分布式网络爬虫的设计与实现

• 作者: 何炎祥 刘楠 吴黎兵 柯亚林
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: DSpider 系统架构 节点协同 Web划分
• 年，卷（期）: 2011,（11）
• 所属期刊栏目: 基金项目论文
• 页码范围: 176-179,213
• 分类号: TP393
• 字数: 5620字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386X.2011.11.045

摘要

提出一种可部署于单一网域及多网域间的分布武爬虫DSpider.DSpider能够通过调整节点规模和连接超时阈值,有效部署于LAN和WAN两种网络环境中.首先简要介绍了DSpider的系统结构,然后详细分析了DSpider的任务调度策略,并且在实验中将DSpider爬虫部署在LAN和WAN两种环境中的不同性能作了详细的分析.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴黎兵	武汉大学计算机学院	74	513	14.0	18.0
3	何炎祥	武汉大学计算机学院	179	1866	22.0	35.0
7	柯亚林	武汉大学计算机学院	1	36	1.0	1.0
13	刘楠		1	36	1.0	1.0