基于贝叶斯分类器的主题爬虫研究

• 作者: 王文贤 邹永斌 陈兴蜀
• 来源期刊: 计算机应用研究
• 关键词: 贝叶斯 分类器 主题爬虫 主题相关度
• 年，卷（期）: 2009,（9）
• 所属期刊栏目: 系统应用开发
• 页码范围: 3418-3420,3439
• 页数: 4页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2009.09.061

摘要

主题爬虫是实现定题搜索引擎的核心技术.提出了基于贝叶斯分类器实现主题爬虫的方法,介绍了基于贝叶斯分类器的主题爬虫的系统结构以及系统关键部分的实现,包括URL队列、爬行历史、页面下载以及页面分析,并重点介绍了基于贝叶斯分类器的主题相关度算法.爬虫使用改进的TF-IDF算法来提取网页内容的特征,并采用贝叶斯分类器计算其主题相关度.实验结果表明,在搜索大量网络资源的情况下,贝叶斯分类器比PageRank算法更适合用于实现主题爬虫.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈兴蜀	四川大学计算机学院网络与可信计算研究所	117	695	14.0	21.0
2	王文贤	四川大学计算机学院网络与可信计算研究所	60	732	13.0	25.0
6	邹永斌	四川大学计算机学院网络与可信计算研究所	1	45	1.0	1.0