广域网分布式爬虫中的Agent协同与Web划分研究

• 作者: 张伟哲 张宏莉 方滨兴 许笑
• 来源期刊: 高技术通讯
• 学科: 工学
• 关键词: 分布式Web爬虫 Agent协同 Web划分 顾问服务
• 年，卷（期）: 2010,（3）
• 所属期刊栏目: 计算机与通信技术
• 页码范围: 239-245
• 页数: 7页
• 分类号: TP3
• 字数: 6106字
• 语种: 中文
• DOI: 10.3772/j.issn.1002-0470.2010.03.004

摘要

针对广域网环境下分布式Web爬虫的Agent协同和Web划分两个核心问题进行深入研究,提出了基于顾问服务的分布式Web爬虫系统模型,给出了详细的系统设计方案及Agent协同算法框架,并通过推导证明了顾问服务参与Agent协同能够使分布式爬虫系统承受相对较小的网络负载.提出了分布式Web爬虫Web划分的概念,围绕Web划分单元选取及Web划分策略,对Web划分的分类和实现进行了详细的讨论,并通过实验对多种Web划分方法进行了对比和评价,验证了广域网系统相对于局域网系统的优势,并发现运营商互连因素对爬虫系统性能的影响大于地理位置因素的影响.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	方滨兴	哈尔滨工业大学计算机科学与技术学院	175	3885	33.0	56.0
2	张宏莉	哈尔滨工业大学计算机科学与技术学院	185	2778	29.0	46.0
3	张伟哲	哈尔滨工业大学计算机科学与技术学院	37	798	15.0	28.0
4	许笑	哈尔滨工业大学计算机科学与技术学院	5	114	4.0	5.0