基于WebKit的网络爬虫

• 作者: 冯超 张磊 郭津丞
• 来源期刊: 现代电子技术
• 关键词: 网络爬虫 浏览器引擎 WebKit JavaScript
• 年，卷（期）: 2013,（18）
• 所属期刊栏目: 计算机应用技术 -- 软件与系统工程
• 页码范围: 62-64,68
• 页数: 4页
• 分类号: TN964-34
• 语种: 中文

摘要

以AJAX技术为代表的Web应用新技术的出现，赋予了JavaScript更加丰富的功能。但也导致更多的URL以数据形式存在于JavaScript代码中，给网络爬虫的URL提取带来了新的挑战。为了解决这一问题，在此提出了一种基于WebKit的网络爬虫，以WebKit作为爬虫的前端来解析并执行JavaScript。一是实现JavaScript对网页DOM的修改，从而将存在于此类代码中的URL转换成HTML形式并以静态分析方法来提取；二是定位JavaScript页面导航的代码并且劫持输入导航方法及对象的变量以提取变量中的URL。这充分降低了客户端脚本给爬虫带来的障碍，从而更好地提取网页中的URL。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张磊	国防科学技术大学电子科学与工程学院	16	101	5.0	9.0
2	冯超	国防科学技术大学电子科学与工程学院	13	70	5.0	8.0
3	郭津丞	国防科学技术大学电子科学与工程学院	1	7	1.0	1.0