引入Scrapy框架的Python网络爬虫应用研究

• 作者: 黎妍 肖卓宇
• 来源期刊: 福建电脑
• 关键词: 网络爬虫 Requests API Scrapy框架 反爬虫 Robots协议
• 年，卷（期）: 2021,（10）
• 所属期刊栏目: 研究与探讨|Exploration
• 页码范围: 58-60
• 页数: 3页
• 分类号: TP391.3|TP312.1
• 语种: 中文
• DOI: 10.16707/j.cnki.fjpc.2021.10.015

摘要

为了解决传统网络爬虫对大型Web网站信息提取效率不高的问题,本文提出了一种引入Scrapy框架的Python网络爬虫提取方法.通过对主流网站进行信息提取,本文的方法显示出了较好的应用效果,实现了对大型经典网站的信息提取.