基于Scrapy-Splash的分布式研究生院校信息采集方案

• 作者: 宋瑾钰 曾文哲
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 网络爬虫 Scrapy Splash 动态网页爬取
• 年，卷（期）: 2020,（9）
• 所属期刊栏目: 数据库与信息处理
• 页码范围: 180-185
• 页数: 6页
• 分类号: TP391
• 语种: 中文
• DOI: 10.11907/rjdk.201028

摘要

网络上存在大量考研资讯,如何对这些考研信息进行有效采集、分析、筛选,对后续数据挖掘、数据分析有着举足轻重的作用.在分析Scrapy基础上,针对Scrapy框架无法下载AJAX动态页面的缺陷,提出一种采用Scrapy-Splash模块使Scrapy也能爬取AJAX数据的信息采集方案.通过对Scrapy框架Request的构造方法和Response跟进方法覆写,使Scrapy Engine能够向Splash发起渲染请求,接收渲染返回的SplashResponse对象并对其进行调度.利用Scrapy-Redis框架设计了一套分布式网络爬虫系统,用于高效、稳定地获取中国研究生招生考试网中的数据.测试结果显示,获取的数据具有实时性和可靠性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	宋瑾钰		39	136	7.0	10.0
2	曾文哲		1	0	0.0	0.0