基于MapReduce的网络爬虫设计与实现

• 作者: 于俊凤 朱世伟 李晨 赵燕清
• 来源期刊: 山东科学
• 学科: 工学
• 关键词: Hadoop MapReduce 网络爬虫 信息抽取 文本去重
• 年，卷（期）: 2015,（2）
• 所属期刊栏目: 其他研究论文
• 页码范围: 101-107
• 页数: 7页
• 分类号: TP311.1
• 字数: 4291字
• 语种: 中文
• DOI: 10.3976/j.issn.1002-4026.2015.02.017

摘要

针对单机爬虫效率低、可扩展性差等问题,本文设计并实现了一种基于MapReduce的网络爬虫系统.该系统首先采用HDFS和HBase对网页信息进行存储管理,基于行块分布函数的方法进行网页信息抽取;然后通过URL和网页信息相似度分析相结合的去重策略,采用Simhash算法对抓取的网页信息进行相似度度量.实验结果表明,该系统具有良好的性能和可扩展性,较单机爬虫相比平均抓取速度提高了4.8倍.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵燕清	山东省科学院情报研究所	15	24	3.0	4.0
2	于俊凤	山东省科学院情报研究所	25	70	4.0	7.0
3	朱世伟	山东省科学院情报研究所	26	148	7.0	11.0
4	李晨	山东省科学院情报研究所	4	35	3.0	4.0