节点对等Web Spider设计与实现

• 作者: 张林才 张燕 王红霞
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 网络爬虫 ProActive 并行 分布式 节点对等
• 年，卷（期）: 2010,（3）
• 所属期刊栏目: 应用开发研究
• 页码范围: 195-198,202
• 页数: 5页
• 分类号: TP393
• 字数: 4415字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2010.03.050

摘要

由于互联网具有海量信息并且快速增长,提高搜索引擎的信息采集器Web Spider的数据采集和更新速度有重要意义.受计算资源限制,单机多线程Web Spider的采集速率不高.带中心节点的分布式并行Web Spider又容易产生中心节点瓶颈问题.利用ProActive网格网络并行分布计算中间件提供的主动对象技术、网络并行计算技术、自动部署机制等设计和实现了一个名为P-Spider2.0的节点对等的分布式并行Web Spider,并设计了一个基于Raibin算法的URL去重算法.实验表明该Web Spider方便管理和部署,并且比单机多线程Web Spider具有更高的采集速率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张燕	辽宁石油化工大学计算机与通信工程学院	47	162	6.0	10.0
2	王红霞	北京青年政治学院计算机系	20	45	5.0	5.0
3	张林才	辽宁石油化工大学计算机与通信工程学院	5	32	2.0	5.0