一种基于语义分析的主题爬虫算法

• 作者: 田晓燕 蒋宗礼 赵旭
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 主题爬虫 子空间 语义分析 支持向量机
• 年，卷（期）: 2010,（9）
• 页码范围: 145-147,151
• 分类号: TP391
• 字数: 3858字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2010.09.038

摘要

海量网页的存在及其量的急速增长使得通用搜索引擎难以为面向主题或领域的查询提供满意结果.本文研究的主题爬虫致力于收集主题相关信息,达到极大降低网页处理量的目的.它通过评价网页的主题相关度,并优先爬取相关度较高的网页.利用一种基于子空间的语义分析技术,并结合贝叶斯以及支持向量机,设计并实现了一个高效的主题爬虫.实验表明,此算法具有很好的准确性和高效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蒋宗礼	北京工业大学计算机学院	103	997	17.0	27.0
2	赵旭	北京工业大学计算机学院	23	118	6.0	10.0
3	田晓燕	北京工业大学计算机学院	1	19	1.0	1.0