基于ProActive的分布式并行Web Spider设计

• 作者: 张林才 梁正友
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: Web Spider程序 ProAetive中间件 并行 分布式
• 年，卷（期）: 2008,（19）
• 所属期刊栏目: 软件技术与数据库
• 页码范围: 47-48,52
• 页数: 3页
• 分类号: TP393
• 字数: 3085字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2008.19.017

摘要

单机Web Spider的数据采集速度较慢,采用MPI技术或直接用Java开发分布式Web Spider代价较高.该文利用ProActive中间件提供的主动对象技术、网络并行计算技术、自动部署机制设计实现了p-Spider分布式并行Web Spider.实验结果表明,该P-Spider采集速率是单机多线程Web Spider的2.2倍.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	梁正友	广西大学计算机与电子信息学院	66	590	13.0	22.0
2	张林才	广西大学计算机与电子信息学院	2	30	1.0	2.0