基于网页内容相似度改进算法的主题网络爬虫

• 作者: 廖祥文 杨定达 魏晶晶
• 来源期刊: 计算机与现代化
• 学科: 工学
• 关键词: 搜索引擎 主题网络爬虫 相似度 向量空间模型 HTML标签
• 年，卷（期）: 2011,（9）
• 所属期刊栏目: 算法设计与分析
• 页码范围: 1-4
• 分类号: TP301.6
• 字数: 3453字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2011.09.001

摘要

主题网络爬虫是垂直搜索引擎的重要组成部分,传统主题爬虫的网页内容相似度算法只考虑词频,忽略了关键词的位置信息.本文在分析基于网页内容相似度的主题爬虫的基础之上,提出利用网页HTML标签的特点改进相似度的计算方法.实验结果表明,改进算法抓取的平均准确率为64.99％,相比原始方法提高了15.37％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	廖祥文	福州大学数学与计算机科学学院	26	144	7.0	11.0
2	魏晶晶	福建江夏学院电子信息科学系	9	26	3.0	5.0
3	杨定达	福州大学数学与计算机科学学院	1	14	1.0	1.0