基于WebDriver技术的定向网络爬虫研究

• 作者: 刘洋 唐兰文 田儒贤
• 来源期刊: 电脑知识与技术:学术版
• 学科: 工学
• 关键词: WebDriver 定向爬虫 CCC证书网站
• 年，卷（期）: 2020,（3）
• 页码范围: 34-36
• 页数: 3页
• 分类号: TP311

摘要

近年来,随着互联网与通信技术的迅猛发展,数据的快速增长成了许多行业共同面对的严峻挑战和宝贵机遇,各种开发网站技术也呈现出层出不穷的趋势,异步加载技术因此得到了广泛的应用。如何高效完整的获取异步加载数据显得极为重要。以车型CCC证书网站为研究对象,采用WebDriver模拟网页浏览技术请求网站,能够对验证码进行识别,绕过爬虫检测,获取到同Ajax异步加载技术相同的数据。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	唐兰文		4	1	1.0	1.0
2	刘洋		2	1	1.0	1.0
3	田儒贤		2	1	1.0	1.0