基于Scrapy框架的爬虫和反爬虫研究

• 作者: 王得玉 韩贝 马明栋
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 网站 网络爬虫 反爬虫 Python Scrapy框架
• 年，卷（期）: 2019,（2）
• 所属期刊栏目: 安全与防范
• 页码范围: 139-142
• 页数: 4页
• 分类号: TP309
• 字数: 2854字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2019.02.029

摘要

伴随着互联网的快速发展, 获取信息已经成为人们日常生活中必不可少的一部分.在众多信息来源中, 通过浏览器进入网站获取信息是绝大多数人的选择, 但如果按照这种方式正常地进行信息获取, 获取信息速度较慢, 量较小, 由此便产生了网络爬虫.网络爬虫又称为网络蜘蛛或网络机器人, 可以按照使用人定制的规则, 短时间内在万维网上搜集大量特定信息.网络爬虫在爬取信息的同时, 也带了一些问题, 如大量信息被非正常获取, 是一种损失, 同时, 大量爬虫对网站维护也是一个巨大的负担.如何在维护网民正常访问的前提下, 有效阻止这些爬虫就显得十分重要.因此, 文中主要研究Python语言开发的开源爬虫框架Scrapy所开发的爬虫, 对目前网站常用的一些反爬虫手段进行分析, 基于Scrapy框架以及具体网站, 举例说明爬虫如何应对网站这些反爬措施.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	马明栋	南京邮电大学地理与生物信息学院	19	118	7.0	10.0
2	王得玉	南京邮电大学地理与生物信息学院	22	85	5.0	8.0
3	韩贝	南京邮电大学通信与信息工程学院	1	13	1.0	1.0