广域网分布式Web爬虫

• 作者: 张伟哲 张宏莉 方滨兴 许笑
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 搜索引擎 广域网分布式爬虫 Web划分 Agent协同 Agent部署
• 年，卷（期）: 2010,（5）
• 所属期刊栏目: 计算机网络与信息安全
• 页码范围: 1067-1082
• 分类号: TP393
• 字数: 15879字
• 语种: 中文
• DOI: 10.3724/SP.J.1001.2010.03725

摘要

分析了广域网分布式Web爬虫相对于局域网爬虫的诸多优势,提出了广域网分布式Web爬虫的3个核心问题:Web划分、Agent协同和Agent部署.围绕这3个问题,对目前学术界和商业界出现的多种实现方案和策略进行了全面的综述,深入讨论了研究中遇到的问题与挑战,并论述了广域网分布式Web爬虫的评价模型.最后,对未来的研究方向进行了总结.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	方滨兴	哈尔滨工业大学计算机科学与技术学院	175	3885	33.0	56.0
2	张宏莉	哈尔滨工业大学计算机科学与技术学院	185	2778	29.0	46.0
3	张伟哲	哈尔滨工业大学计算机科学与技术学院	37	798	15.0	28.0
4	许笑	哈尔滨工业大学计算机科学与技术学院	5	114	4.0	5.0