基于Hadoop的广域网分布式主题爬虫系统框架

• 作者: 宋海涛 王淑芬 邹普 高军礼
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 分布式爬虫 Hadoop 爬虫框架 模板匹配 主题爬虫
• 年，卷（期）: 2015,（4）
• 所属期刊栏目: 高性能计算
• 页码范围: 670-675
• 页数: 6页
• 分类号: TP393
• 字数: 4164字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2015.04.008

摘要

广域网分布式爬虫与局域网爬虫相比有诸多的优势,而现有基于Hadoop分布式爬虫的设计主要是面向局域网环境的.为解决Hadoop分布式计算平台不适合部署于广域网的问题,设计了一个基于Hadoop的广域网分布式爬虫系统框架.爬虫系统利用消息中间件实现分布式可靠通信,数据存储采用可伸缩的Hadoop分布式文件系统HDFS,网页解析利用MapReduce并行处理,并基于模板匹配实现框架可定制.系统的性能仿真显示该框架具有支撑大规模爬虫并发工作的能力.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	高军礼	广东工业大学自动化学院	55	215	8.0	11.0
2	王淑芬	广东工业大学自动化学院	2	11	1.0	2.0
3	邹普	广东工业大学自动化学院	2	13	2.0	2.0
4	宋海涛	华南理工大学工商管理学院	11	73	6.0	8.0