一种高效的分布式爬虫系统负载均衡策略

• 作者: 吕波 张树涛 谭海波 陈良锋
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 分布式爬虫 负载均衡 预测模型 粒子群优化算法 约束条件
• 年，卷（期）: 2019,（11）
• 所属期刊栏目: 先进计算与数据处理
• 页码范围: 62-67
• 页数: 6页
• 分类号: TP311.5
• 字数: 4455字
• 语种: 中文
• DOI: 10.19678/j.issn.1000-3428.0053439

摘要

传统分布式爬虫系统负载均衡方法仅考虑少量的负载影响因素,未对各爬虫节点负载情况进行全面有效的评估,使得任务量的分配不合理.针对该问题,提出一种面向分布式爬虫系统的高效负载均衡策略.分析影响爬虫节点运行时间的因素,采用BP神经网络构建基于多影响因素的非线性分布式爬虫节点运行时间模型.以该模型预测的各子节点运行时间的最小方差为负载均衡策略的目标函数,并利用带约束条件的改进粒子群优化算法求解目标函数,确定负载均衡的任务分配方案.实验结果表明,该负载均衡策略在满足爬虫节点高性能要求的前提下,能有效缩短分布式爬虫系统的运行时间.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	谭海波	中国科学院合肥物质科学研究院	19	106	6.0	9.0
2	吕波	中国科学院合肥物质科学研究院	17	49	4.0	6.0
3	陈良锋	中国科学院合肥物质科学研究院	3	22	2.0	3.0
4	张树涛	中国科学院合肥物质科学研究院	1	3	1.0	1.0