基于Nutch的增量网页信息采集系统的设计与实现

• 作者: 代鹏
• 来源期刊: 软件
• 学科: 工学
• 关键词: 计算机软件与理论 Nutch Simhash 汉明距离 增量采集方法
• 年，卷（期）: 2015,（11）
• 所属期刊栏目: 设计研究与应用
• 页码范围: 100-104
• 页数: 5页
• 分类号: TP311.5
• 字数: 4788字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-6970.2015.11.025

摘要

本文介绍了Nutch网络爬虫的系统架构和抓取网页信息流程,针对Nutch网页信息数据采集冗余的问题,引入了增量更新方法和适应性采集周期计算方法,首先使用 Simhash 算法和汉明距离计算出网页相似度,根据网页相似度计算出网页采集周期,然后根据此周期进行网页信息采集,在采集前根据网页元信息中的网页内容长度与网页最后更新时间的变化与否判断是否进行采集.实验结果表明,随着采集次数的增多,网页采集周期会在真实网络变化周期上下浮动,使得网页采集周期与真实网页变化周期之间较为接近,最终有效的减少了冗余的网页信息采集数据量,减轻了对网络环境的压力,实现了适应性的增量的网页信息采集过程.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	代鹏		1	4	1.0	1.0