对反爬虫网站的应对策略

• 作者: 刘石磊
• 来源期刊: 电脑知识与技术：学术交流
• 学科: 工学
• 关键词: 网络爬虫 反爬虫 反反爬虫 抓取策略 分布式爬虫
• 年，卷（期）: 2017,（5X）
• 页码范围: 19-21
• 页数: 3页
• 分类号: TP393.092

摘要

随着网络的发展和网络爬虫技术的普及,越来越多的个人用户使用了网络爬虫技术从网站获取信息,而过多的网络爬虫会对目标网站的运营造成一定的影响。某些网站为了防止自己的网站不被除搜索引擎以外的网络爬虫访问,使用了一些反爬虫技术。笔者探讨了一些常见的反爬虫措施以及对应用了该类机制的网站的进行爬虫活动的手段和策略。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘石磊	山东农业大学信息科学与工程学院	2	16	1.0	2.0