基于H adoop的分布式主题网络爬虫研究

• 作者: 李应
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: Hadoop MapReduce 分布式架构 主题网络爬虫
• 年，卷（期）: 2016,（3）
• 所属期刊栏目: 软件理论与方法
• 页码范围: 24-26
• 页数: 3页
• 分类号: TP301.6
• 字数: 2314字
• 语种: 中文
• DOI: 10.11907/rjdk.1511459

摘要

主题网络爬虫采用集中式体系结构，具有对单台服务器性能要求高、可扩展性差等缺点。提出了一种基于Hadoop的分布式主题网络爬虫架构，通过将主题网络爬虫部署在分布式集群中的不同机器，运用MapReduce编程模型对数据进行抓取分析，使不同机器共同完成对指定任务的抓取工作。实验证明，采用分布式架构，通过动态调节分布式集群中的节点个数，能够明显改善主题网络爬虫的抓取效果。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李应	西安工程大学计算机科学学院	1	12	1.0	1.0