基于Heritrix的网络爬虫研究与应用

• 作者: 刘高军 夏景隆
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 网络爬虫 主题搜索引擎 Heritrix URL地址去重 BKDRHash算法
• 年，卷（期）: 2013,（5）
• 所属期刊栏目: 网络技术
• 页码范围: 123-125
• 页数: 3页
• 分类号: TP393
• 字数: 2537字
• 语种: 中文

摘要

主要介绍了主题搜索引擎、网络爬虫的基本概念和Heritrix系统的体系结构,分析了Heritrix的工作流程,在Heritrix框架的基础上进行扩展和优化.通过一个实例,实现了对京东网图书信息的抓取,为建立面向图书信息的垂直搜索引擎提供了网页信息资源.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘高军		41	237	7.0	15.0
2	夏景隆		2	97	2.0	2.0