结合有监督广度优先搜索策略的通用垂直爬虫方法

• 作者: 刘震 高峰 高辉
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 垂直爬虫 URL聚类 赋权网页 路径模板解析 有监督广度优先搜索策略
• 年，卷（期）: 2018,（11）
• 所属期刊栏目: 开发研究与工程应用
• 页码范围: 289-299
• 页数: 11页
• 分类号: TP393
• 字数: 12639字
• 语种: 中文
• DOI: 10.19678/j.issn.1000-3428.0048511

摘要

垂直爬虫程序无法直接移植到其他网站并且程序设计需要大量人工干预.为此,提出一种高可移植性的通用型垂直爬虫设计方法.自动识别目标主题和目录页面URL,并利用URL聚类生成URL正则表达式过滤器,以解决垂直爬虫中需人工维护初始URL队列的问题.然后,利用正则表达式过滤器和解析路径模板以及有监督的广度优先与网页赋权搜索策略,实现相关页面的精确定位和数据的快速准确提取.实验结果表明,该方法能够对不同网站实现高效、快速、通用的数据爬取.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘震	电子科技大学计算机科学与工程学院	46	292	9.0	15.0
5	高峰	电子科技大学计算机科学与工程学院	8	30	4.0	5.0
6	高辉	电子科技大学计算机科学与工程学院	10	78	5.0	8.0