基于Shark-Search和Hits算法的主题爬虫研究

• 作者: 吴清秀 罗林波 陈绮
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 主题爬虫 爬行策略 垂直搜索引擎
• 年，卷（期）: 2010,（11）
• 页码范围: 76-79
• 分类号: TP393
• 字数: 3229字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2010.11.019

摘要

主题爬虫是实现垂直搜索引擎的核心技术.介绍主题爬虫的两个重要爬行算法:基于网页内容评价的Shark-Search算法和基于网页链接关系的Hits算法,并分析了各自的优缺点,提出了一种新的主题爬行策略:将上述两种算法的优点结合起来即将基于网页内容评价和基于网页链接关系算法结合起来判断待下载url的优劣,并实现了一个主题爬虫.这种新策略正好弥补了两个算法各自的不足.通过与Shark-Search算法和Hits算法实现的主题爬虫对比,发现用新算法实现的主题爬虫查准率比这两种算法高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈绮	海南大学信息科学技术学院	11	93	3.0	9.0
2	罗林波	海南大学信息科学技术学院	3	59	2.0	3.0