基于改进Kademlia协议的分布式爬虫

• 作者: 向中希 陶耀东
• 来源期刊: 计算机系统应用
• 关键词: 分布式哈希表 P2P 网络爬虫 Kademlia协议 去中心化
• 年，卷（期）: 2016,（4）
• 所属期刊栏目: 软件技术·算法
• 页码范围: 156-161
• 页数: 6页
• 字数: 4221字
• 语种: 中文

摘要

随着互联网信息的爆炸式增长,搜索引擎和大数据等学科迫切需要一种高效、稳定、可扩展性强的爬虫架构来完成数据的采集和分析.本文借助于对等网络的思路,使用分布式哈希表作为节点间的数据交互的载体,同时针对网络爬虫自身的特点,对分布式哈希表的一种实现——Kademlia协议进行改进以满足分布式爬虫的需求.在此基础上设计并完善了具有可扩展性和容错性的分布式爬虫集群.在实际试验中,进行了单机多线程实验和分布式集群的实验,从系统性能角度和系统负载角度进行分析,实验结果表明了这种分布式集群方法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陶耀东	中国科学院沈阳计算技术研究所	36	253	8.0	13.0
2	向中希	中国科学院沈阳计算技术研究所	2	10	2.0	2.0