基于Heritrix的增量式爬虫设计与实现

• 作者: 孟庆浩 沈奇威 王晶
• 来源期刊: 电信技术
• 关键词: Heritrix 网络爬虫 增量抓取 Index型网页
• 年，卷（期）: 2014,（9）
• 所属期刊栏目: 产品与解决方案
• 页码范围: 97-101
• 页数: 5页
• 字数: 3655字
• 语种: 中文

摘要

Heritrix是一个开源的、可扩展的Web爬虫,页面下载功能强大,但Heritrix被定义为一个通用网络爬虫,其在增量爬取方面功能有限.针对目前使用较为广泛的两个Heritrix版本,首先讨论Heritrix 1.14.4增量功能模块的不足之处,然后基于Heritrix 3.x,详细阐述一套新的增量功能框架的设计方案,这个框架既能有效利用Heritrix 3.×的页面下载功能,又能高效地对数据进行增量抓取.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王晶	北京邮电大学网络与交换技术国家重点实验室	68	339	8.0	15.0
3	沈奇威	北京邮电大学网络与交换技术国家重点实验室	48	327	10.0	15.0
9	孟庆浩	北京邮电大学网络与交换技术国家重点实验室	1	6	1.0	1.0