基于Python的网络爬虫与反爬虫技术的研究

• 作者: 张宝刚
• 来源期刊: 电子世界
• 年，卷（期）: 2021,（4）
• 所属期刊栏目: 探索与观察
• 页码范围: 86-87
• 页数: 2页
• 语种: 中文

摘要

随着互联网的快速发展,网络中的信息量也变得越来越巨大.如何从庞大的互联网中快速准确的收集到我们需要的信息,成为了一个巨大的挑战.因此,网络爬虫技术应运而生,相比较于传统的人工搜集,网络爬虫可以快速的持续的准确的搜集到我们需要的信息.但对于网站内容提供者而言,并不希望自己的数据信息被别人搜集到,且爬虫程序的大量请求,也会对服务器造成一定的压力,因此就出现了反爬虫技术.本文将通过一个案例系统的介绍网络爬虫的原理,并指出一些有效的反爬虫技术.