基于Scrapy框架的网络爬虫分析与抓取实现

• 作者: 张小秋
• 来源期刊: 电脑编程技巧与维护
• 关键词: Scrapy框架 网络爬虫 贝壳网 Matplotlib工具包
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 软件研发与应用
• 页码范围: 18-19,44
• 页数: 3页
• 语种: 中文
• DOI: 10.3969/j.issn.1006-4052.2022.02.006

摘要

基于Scrapy框架设计网络爬虫程序,爬取某市二手房数据,并将分析结果通过统计图呈现出来.通过分析网站数据结构及Scrapy框架网络爬虫设计思路,详细展示了基于Scrapy框架进行数据爬取、数据分析的实现方法,并对网络爬虫存在的安全问题、法律问题进行了说明.