基于内容与链接分析的主题爬虫研究与设计

• 作者: 尹珂 舒奔
• 来源期刊: 计算机与现代化
• 学科: 工学
• 关键词: 主题爬虫 主题相关度 主题网页
• 年，卷（期）: 2014,（4）
• 所属期刊栏目: 算法设计与分析
• 页码范围: 77-80
• 页数: 4页
• 分类号: TP393
• 字数: 4587字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2014.04.018

摘要

现存主题爬虫算法在抓取主题网页方面,其准确性不是很高.本文提出一种基于文本内容评价与网页链接评价的主题网页抓取方法.首先计算当前网页与主题的相关度,然后将相关度值与给定阈值进行比较决定当前网页是丢弃还是存储,同时相关度值的大小也决定了待爬链接队列中URL的优先权,此模型考虑了主题网页的准确率与覆盖率之间的平衡.新设计的主题爬虫算法在抓取主题网页方面,其准确性有一定程度的提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	尹珂	安徽理工大学计算机科学与工程学院	3	8	2.0	2.0
2	舒奔	安徽理工大学计算机科学与工程学院	1	6	1.0	1.0