基于H eri tri x的增量式网络爬虫研究

• 作者: 周学广 张皓
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: Heritrix Hash 网络爬虫 增量抓取
• 年，卷（期）: 2013,（11）
• 所属期刊栏目: 网络技术
• 页码范围: 135-137
• 页数: 3页
• 分类号: TP393
• 字数: 2267字
• 语种: 中文

摘要

通过分析开源网络爬虫Heritrix的工作原理及架构，针对Heritrix开源爬虫只能对全网站进行通爬的特点，对Heritrix进行改进，增加了基于Hash算法的增量式抓取模块。实验表明，改进的 Heritrix能够有效实现对网页的增量式抓取。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周学广	海军工程大学信息安全系	55	310	8.0	16.0
2	张皓	海军工程大学信息安全系	4	15	2.0	3.0