基于Hadoop的网络爬虫技术研究

• 作者: 周军 王艳红
• 来源期刊: 吉林工程技术师范学院学报
• 学科: 工学
• 关键词: Hadoop 网络爬虫 MapReduce 搜索引擎
• 年，卷（期）: 2014,（8）
• 页码范围: 87-89
• 页数: 3页
• 分类号: TP393.071
• 字数: 3265字
• 语种: 中文

摘要

网络爬虫一般从一个起始网页开始,读取网页的内容和网页中的链接,依次循环下去,直到找到此网页所有的链接网页为止;当要爬取的数据量比较大时,传统的技术存在一定弊端,而Hadoop开源云计算框架在数据采集方面会有一定的优势.在介绍Hadoop云计算框架的基础上,本文阐述网络爬虫的原理,并实现基于Hadoop的网络爬虫.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王艳红	南通航运职业技术学院管理信息系	26	55	4.0	5.0
2	周军	南通航运职业技术学院管理信息系	18	62	4.0	7.0