网络爬行器的分布式设计

• 作者: 朴星海 李卫疆 赵铁军
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 网络爬行器 分布式 多线程
• 年，卷（期）: 2009,（4）
• 所属期刊栏目: 网络与通信
• 页码范围: 105-107
• 页数: 3页
• 分类号: TP393
• 字数: 4923字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2009.04.037

摘要

目前单机版的网络爬行器已无法在一个有效的时间范围内完成一次搜集整个Web的任务.该文采用分布式网络爬行器加以解决.在分布式设计中,主要考虑节点内部多个线程的并行和节点之间的分布式并行,包括分布式网络爬行器的策略选择和动态可配置性2个方面.实验结果显示站点散列法基本达到了分布式设计的目标,在追求负载平衡的同时将系统的通信和管理开销降到最低.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵铁军	哈尔滨工业大学计算机科学与技术学院	123	1278	19.0	32.0
2	李卫疆	昆明理工大学省计算机应用重点实验室	18	106	4.0	10.0
3	朴星海	哈尔滨工业大学计算机科学与技术学院	2	13	2.0	2.0