基于Webdriver爬虫技术的研究

• 作者: 贺杰
• 来源期刊: 科技广场
• 学科: 工学
• 关键词: Webdriver 爬虫 Web网页
• 年，卷（期）: 2016,（10）
• 所属期刊栏目: 软件应用与开发
• 页码范围: 27-31
• 页数: 5页
• 分类号: TP311
• 字数: 3071字
• 语种: 中文

摘要

本文提出基于Webdriver测试工具的爬虫程序实现,通过实例化一个浏览器再通过代码自动控制其浏览网页实现对网站数据的爬取.通过实现点击事件方法可以很好地解决传统爬虫技术中Ajax网站动态加载引起的数据丢失问题.最后以新闻网站为例,实现了本文所设计的爬虫程序.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	贺杰	江西财经大学软件与通信学院	1	2	1.0	1.0