基于ProActive的P-Spider1.0改进

• 作者: 张林才 梁正友 王红霞
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 网络蜘蛛 ProActive中间件 节点对等 分布式 中心节点
• 年，卷（期）: 2010,（17）
• 页码范围: 288-290
• 分类号: TP393
• 字数: 2639字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2010.17.098

摘要

针对带中心节点结构的分布式并行Web Spider的中心节点负担过重、通信负载不均衡、可扩展性差的问题,提出基于Rabin指纹算法的URL去重改进算法和节点对等结构的改进方案,利用ProActive中间件设计开发改进的分布式并行Web Spider.对比实验表明,改进后的Web Spider采集效率更高,通信负载均衡,无节点瓶颈问题,具有良好的可扩展性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	梁正友	广西大学计算机与电子信息学院	66	590	13.0	22.0
2	王红霞	北京青年政治学院计算机系	20	45	5.0	5.0
3	张林才	辽宁石油化工大学计算机与通信工程学院	5	32	2.0	5.0