一种基于链接和内容分析的自适应主题爬虫算法

• 作者: 周瑜 徐宁 朱庆生
• 来源期刊: 计算机与现代化
• 学科: 工学
• 关键词: 主题爬虫 OTIE算法 Shark-Search算法 隧道穿越
• 年，卷（期）: 2015,（9）
• 所属期刊栏目: 网络与通信
• 页码范围: 77-80,89
• 页数: 5页
• 分类号: TP301
• 字数: 4042字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2015.09.016

摘要

主题网络爬虫是主题搜索引擎中的一种关键技术，针对OTIE算法参数考虑不全的问题，提出结合链接和网页内容分析的自适应算法，通过结合网页链接重要性和内容相关性得分得到主题网页下载优先级的综合评分，同时考虑在爬取主题网页中的隧道穿越问题。从ODP中选择主题和种子网页，将本算法与Best-First算法、Shark-Search算法和OTIE算法进行比较。实验结果表明，本算法不仅具有明显较好的查全率，而且具有很好的查准率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱庆生	重庆大学计算机学院软件理论与技术重庆市重点实验室	175	1952	22.0	33.0
2	徐宁	重庆大学计算机学院软件理论与技术重庆市重点实验室	4	7	1.0	2.0
3	周瑜	重庆大学计算机学院软件理论与技术重庆市重点实验室	2	7	1.0	2.0