基于Python的反反爬虫技术分析与应用

• 作者: 余豪士 匡芳君
• 来源期刊: 智能计算机与应用
• 学科: 工学
• 关键词: 网络爬虫 反爬虫 反反爬虫 大数据 数据分析
• 年，卷（期）: 2018,（4）
• 页码范围: 112-115
• 页数: 4页
• 分类号: TP319
• 字数: 2486字
• 语种: 中文

摘要

爬虫软件是现今互联网环境下,高效准确地获取数据的重要方式之一.针对传统的初级爬虫技术易于被目标网站拦截访问的问题,简述爬虫的工作原理和方式,讨论爬虫、反爬虫与反反爬虫之间的相互关系.分析应对目标网站的反反爬虫机制,包括伪装用户代理,设置IP地址代理、使用自动化测试工具调用浏览器等技术要点,并分析了基于Python语言中Requests库,构建了对网页的多种请求方式和数据获取方法的解决方案.结合反反爬虫机制与数据分析技术,以哔哩哔哩视频网为案例,分析其网页基本结构与调用的应用程序接口,使用Python与Requests库抓取网站所有视频的相关数据.数据清洗后分析播放量最高视频的相关信息,并将结论以数据可视化的方式呈现,实现对数据的获取、挖掘与分析.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	匡芳君	温州商学院信息工程学院	20	61	4.0	7.0
2	余豪士	温州商学院信息工程学院	1	15	1.0	1.0