融合链接结构的主题爬虫算法

• 作者: 刘韶涛 李洪胜
• 来源期刊: 华侨大学学报（自然科学版）
• 关键词: Best-First算法 链接结构 HITS算法 爬行策略
• 年，卷（期）: 2017,（2）
• 页码范围: 195-200
• 页数: 6页
• 分类号: TP311
• 语种: 中文
• DOI: 10.11830/ISSN.1000-5013.201702012

摘要

通过分析基于内容的链接选择Best-First算法,引入能够体现链接价值的HITS(hyperlink induced topic search)算法,提出了新的链接选择策略.将两种算法相结合,新的爬虫不仅仅考虑页面内容,同时将链接结构加入进来,使得在下载的过程中能够保证主题相关性和权威性,缓解爬虫在爬行阶段的"近视"现象.结果表明:新的爬行策略比单一的Best-First算法具有更好的性能表现.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘韶涛	华侨大学计算机科学与技术学院	20	53	4.0	5.0
2	李洪胜	华侨大学计算机科学与技术学院	1	4	1.0	1.0