一种基于Heritrix的网络定题爬虫算法——以渔业信息网络为例

• 作者: 于红 冯艳红 史鹏辉 孙庚
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 定题爬虫 搜索引擎 Heritrix
• 年，卷（期）: 2010,（5）
• 页码范围: 47-49
• 分类号: TP312
• 字数: 2590字
• 语种: 中文

摘要

以开源网络爬虫Heritrix为基础,阐述其工作原理和架构.根据渔业信息词库建立索引,提出一种基于Heritrix的定题爬虫算法,根据链接和内容对网页进行过滤,并构建了渔业信息网络爬虫FishInfoCrawler,经实验表明,本算法能完成渔业信息领域相关网页的抓取.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于红	大连水产学院信息与计算机工程学院	26	153	8.0	10.0
2	史鹏辉	大连水产学院信息与计算机工程学院	6	39	4.0	6.0
3	孙庚	大连水产学院信息与计算机工程学院	4	20	3.0	4.0
4	冯艳红	大连水产学院信息与计算机工程学院	5	31	4.0	5.0