基于Heritrix限定爬虫的设计与实现

• 作者: 孙敏 张敏
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 限定爬虫 Heritrix IP地址 合理性 实用性
• 年，卷（期）: 2013,（4）
• 所属期刊栏目: 基金项目论文
• 页码范围: 33-35,80
• 页数: 4页
• 分类号: TP311
• 字数: 3344字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2013.04.010

摘要

目前互联网中的网页数量以相当惊人的速度在增长.面对如此多的网页,用户往往只需要特定网站的网页,或者说只需要某一地区的网页,那么通用爬虫就无能为力了.因此,根据通用爬虫存在的不足,阐述了限定爬虫的相关概念以及技术,并基于Heritrix框架实现了通过IP地址限制爬虫只抓取某一地区主机上的网页.最后通过相关实验表明限定爬虫的合理性和实用性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张敏	大连大学信息工程学院	25	210	8.0	13.0
2	孙敏	大连大学信息工程学院	3	25	2.0	3.0