基于Scrapy技术的数据采集系统的设计与实现

• 作者: 余瀚 杨君 陈春玲
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: Scrapy Django 数据采集 网络爬虫
• 年，卷（期）: 2018,（10）
• 所属期刊栏目: 应用开发研究
• 页码范围: 177-181
• 页数: 5页
• 分类号: TP302
• 字数: 4281字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2018.10.037

摘要

面对互联网信息极其庞大并且经常更新的问题,基于Scrapy爬虫框架设计并实现了一种数据采集系统.不仅可以根据用户自身需求获取数据,还可以对自身的采集任务进行简单的管理.介绍了系统开发的关键技术,探讨了系统框架设计、功能模块和数据库设计方案.使用Django MTV模式进行开发,底层数据采集框架使用Scrapy,一种使用Python编写实现的网站数据异步爬虫应用框架,网页解析采用XPath和Python正则相结合的方法,采用jQuery树插件zTree实现了任务的树形管理,使用bootstrap实现了数据的任务名加关键字组合查询和页面效果.系统主要分为网页解析模块、数据处理模块、系统登录模块、任务新建模块、任务管理模块和数据查询模块.最后分析了浏览器端和服务器端的数据交互,以及网页数据定位和解析的实现.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈春玲	南京邮电大学计算机学院	72	533	13.0	19.0
2	余瀚	南京邮电大学计算机学院	14	95	5.0	9.0
3	杨君	南京邮电大学计算机学院	1	8	1.0	1.0