基于URL模式集的主题爬虫

• 作者: 李石君 胡萍瑞
• 来源期刊: 计算机应用研究
• 关键词: 主题爬虫 URL模式 URL前缀树 模式关系图 URL模式重要性
• 年，卷（期）: 2018,（3）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 694-699,726
• 页数: 7页
• 分类号: TP311.52
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2018.03.012

摘要

为提高主题爬虫的性能,依据站点信息组织的特点和URL的特征,提出一种基于URL模式集的主题爬虫.爬虫分两个阶段,在实验爬虫阶段,采集站点样本数据,采用基于URL前缀树的模式构建算法构建URL模式,形成模式关系图,并利用HITS算法分析该模式关系图,计算出各模式的重要度;在聚焦爬虫阶段,无须预先下载页面,即可利用生成的URL模式判断页面是否主题相关和能否指导爬虫深入抓取,并根据URL模式的重要度预测待抓取链接优先级.实验表明,该爬虫相比现有的主题爬虫能快速引导爬虫抓取主题相关页面,保证爬虫的查准率和查全率,有效提高爬虫抓取效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李石君	武汉大学计算机学院	88	753	16.0	22.0
2	胡萍瑞	武汉大学计算机学院	1	14	1.0	1.0