基于WebDriver的定向网络爬虫设计与实现

• 作者: 时永坤
• 来源期刊: 软件
• 学科: 工学
• 关键词: 网络爬虫 网页解析 动态内容获取
• 年，卷（期）: 2016,（9）
• 所属期刊栏目: 设计研究与应用
• 页码范围: 94-97
• 页数: 4页
• 分类号: TP311
• 字数: 2406字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-6970.2016.09.022

摘要

随着Web 2.0的兴起，网络上的海量信息迎来了爆发性地增长。从网络上的公开数据中提取有效信息成为了数据挖掘领域的新热点。数据获取是数据分析的第一步。Web 2.0时代的网站在内容和形态方面发生了深刻的变化，对传统的以静态页面分析为基础的网络爬虫提出了新的挑战。本文利用 WebDriver 实现了一个定向网络爬虫，该爬虫能够自动采集指定网页数据，支持Ajax等动态技术，能够对简单验证码进行识别，并绕过爬虫检测。利用该爬虫对全国企业信用信息系统进行爬取，取得了良好效果。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	时永坤		1	13	1.0	1.0