基于Heritrix的面向特定主题的聚焦爬虫研究

• 作者: 朱敏 罗省贤
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 聚焦爬虫 Heritrix BKDRHash算法 HTMLParser 搜索引擎
• 年，卷（期）: 2012,（2）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 65-68
• 分类号: TP31
• 字数: 2678字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2012.02.017

摘要

通过分析Heritirx开源爬虫的组件结构,针对Heritrix开源爬虫项目存在的问题,项目设计了特定的抓取逻辑和定向抓取包含某一特定内容的网页的类,并引入BKDRHash算法进行URL散列,实现了面向特定主题的网页信息搜索,达到了提高搜索数据的效率以及多线程抓取网页的目的.最后对某一特定主题的网页进行分析,并进行网页内容抓取,采用HTMLParser工具将抓取的网页数据源转换成特定的格式,可为面向主题的搜索信息系统以及数据挖掘提供数据源,为下一步研究工作做好准备.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	罗省贤	成都理工大学信息科学与技术学院	83	1174	19.0	32.0
2	朱敏	成都理工大学信息科学与技术学院	1	37	1.0	1.0