基于主题相关概念和网页分块的主题爬虫研究

• 作者: 王良伟 黄仁
• 来源期刊: 计算机应用研究
• 关键词: 主题爬虫 主题相关概念 网页分块 优先级计算 R-HITS
• 年，卷（期）: 2013,（8）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 2377-2380,2409
• 页数: 5页
• 分类号: TP391.3
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2013.08.034

摘要

针对传统主题爬虫的不足,提出一种基于主题相关概念和网页分块的主题爬虫.先通过主题分类树获取主题相关概念集合,然后结合主题描述文档构建主题向量来描述主题；下载网页后引入网页分块来穿越“灰色隧道”；采用文本内容和链接结构相结合的策略计算候选链接优先级,并在HITS算法的基础上提出了R-HITS算法计算链接结构对候选链接优先级的贡献.实验结果表明,利用该方法实现的主题爬虫查准率达66％、信息量总和达53％,在垂直搜索引擎和舆情分析应用方面有更好的搜索效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄仁	重庆大学计算机学院	34	423	13.0	19.0
2	王良伟	重庆大学计算机学院	1	36	1.0	1.0