基于自动化测试的反爬虫技术研究——以天猫平台为例

• 作者: 张科静 曹文斌
• 来源期刊: 现代计算机：中旬刊
• 学科: 工学
• 关键词: 反爬虫 自动化测试 评论 SELENIUM
• 年，卷（期）: 2018,（4）
• 页码范围: 64-67
• 页数: 4页
• 分类号: TP274.5

摘要

随着大数据、云计算、移动互联网等新兴信息技术地快速兴起,人们工作生活对互联网的依赖逐步加强,越来越多用户行为数据、发表意见评论数据分散在互联网上。如何有效地采集这些数据,是分析、挖掘数据的前提。传统爬虫方式通常是从一个节点开始,盲目地、发散式地扩张遍历网页来获取数据,这种方式一方面近年来受到反爬虫技术的限制,另一方面获取数据的效率和质量偏低。在深入研究天猫平台网站结构的基础上,采用自动化测试技术模拟人浏览网页的方式,结合电商平台的搜索引擎有效地避开反爬虫技术地限制,采集到的数据准确率达到96%以上,能够满足实际科研、工业中数据采集分析的要求。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张科静	东华大学旭日工商管理学院	26	223	8.0	14.0
2	曹文斌	东华大学旭日工商管理学院	3	7	2.0	2.0