基于Scrapy的网络爬虫系统框架设计与实现

• 作者: 刘晓丹 王磊
• 来源期刊: 微型电脑应用
• 学科: 工学
• 关键词: Scrapy 网络爬虫 系统框架设计 数据库设计
• 年，卷（期）: 2019,（4）
• 所属期刊栏目: 基金项目
• 页码范围: 48-50
• 页数: 3页
• 分类号: TP391.3
• 字数: 3346字
• 语种: 中文

摘要

研究了基于Scrapy的网络爬虫系统框架.以设计目标为依据对网络爬虫所需具备的功能特性进行了详细分析,完成了系统总体框架的设计.该框架采用主从结构,介绍了各层主要模块的功能,详细阐述了完整的抓取过程.为促进网络爬虫系统框架的实现,综合MongoDB及Redis,完成了系统数据库方案的设计,从而提高用户获取信息的速度和质量.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王磊	陕西广播电视大学信息与智能技术学院	17	88	5.0	9.0
2	刘晓丹	陕西广播电视大学信息与智能技术学院	16	32	4.0	5.0