Selenium框架的反爬虫程序设计与实现

• 作者: 许景贤 林锦程 程雨萌
• 来源期刊: 福建电脑
• 学科: 工学
• 关键词: 反爬虫 淘宝商品 Selenium 反爬虫程序
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 论著
• 页码范围: 26-29
• 页数: 4页
• 分类号: TP39
• 语种: 中文
• DOI: 10.16707/j.cnki.fjpc.2021.01.008

摘要

随着爬虫技术的发展,越来越多的网站加入了反爬虫技术.本文应用Python语言和Selenium框架设计一个爬虫程序,并在文中加入了反爬虫机制.该程序成功爬取了淘宝商品名称和价格等信息,并对所爬取的信息进行存储.结果表明,本文的爬虫程序可以绕过淘宝的反爬虫验证,且可以准确地获取所需的商品清单和得到商品的相关信息.