网站反爬虫策略的分析与研究

• 作者: 伏康 杜振鹏
• 来源期刊: 电脑知识与技术:学术版
• 学科: 工学
• 关键词: 大数据 网络爬虫 爬虫 反爬措施 反爬策略
• 年，卷（期）: 2019,（10）
• 页码范围: 28-30
• 页数: 3页
• 分类号: TP393

摘要

随着大数据时代的来临,大数据在日常生活中的应用显得尤为重要。如何便捷、快速地获取数据将成为提高竞争力的重要手段,而通过网络爬虫这一新兴技术能够非常高效的获取网络中的数据。但是如果不对爬虫进行控制,爬虫也会对网站造成巨大危害。为了减少网络爬虫对于网站的危害,详细阐述了网络爬虫的工作原理、种类以及URL的搜索策略,针对某些网站的"反爬"措施,提出相应的提出几种反爬策略。从而减轻了网站服务器压力,保护了数据,防止数据的大量流失。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	伏康	山东财经大学管理科学与工程学院	2	3	1.0	1.0
2	杜振鹏	山东财经大学管理科学与工程学院	2	3	1.0	1.0