分布式多主题网络爬虫系统的研究与实现

• 作者: 汤迪斌 王劲林 白鹤
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 网络爬虫 多主题 分布式
• 年，卷（期）: 2009,（19）
• 所属期刊栏目: 博士论文
• 页码范围: 13-16,19
• 页数: 5页
• 分类号: TP393
• 字数: 7384字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2009.19.005

摘要

提出一种基于数据抽取器的分布式爬虫架构.该架构采用基于分类标注的多主题策略,解决同一爬虫系统内多主题自适应兼容的问题.介绍二级加权任务分割算法,解决基于目标导向、负载均衡的URL分配问题,增强系统可扩展性.给出基于Trie树的URL存储策略的改进方法,可以高效地支持URL查询、插入和重复性检测.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王劲林	中国科学院声学研究所国家网络新媒体工程技术研究中心	169	638	11.0	15.0
2	汤迪斌		5	53	3.0	5.0
6	白鹤		2	43	1.0	2.0