基于GNP算法的分布式爬虫调度策略

• 作者: 刘爽 姜春祥 张伟哲 张鸿 李东
• 来源期刊: 计算机应用研究
• 关键词: 分布式爬虫 任务调度 负载均衡 网络测量 全局网络定位
• 年，卷（期）: 2010,（2）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 446-449
• 页数: 4页
• 分类号: TP309
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2010.02.011

摘要

针对分布式搜索引擎的任务调度及负载均衡问题,提出了基于GNP算法的分布式爬虫调度策略和负载均衡的方法.利用网络距离预估取代大规模的网络距离测量,不仅提高了系统的响应速度,还减少了系统对广域网造成的压力.通过在广域网上部署爬虫节点,构建分布式搜索引擎,应用该调度策略进行实验,验证了系统性能有较大提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李东	哈尔滨工业大学计算机科学与技术学院	109	975	16.0	27.0
2	张伟哲	哈尔滨工业大学计算机科学与技术学院	37	798	15.0	28.0
3	张鸿		15	83	6.0	8.0
4	刘爽	哈尔滨工业大学计算机科学与技术学院	5	29	2.0	5.0
5	姜春祥	国家计算机网络应急技术处理协调中心黑龙江分中心	1	17	1.0	1.0