基于Python的可配置自动化爬虫系统的设计与实现

• 作者: 朱应钦 梁艳华 龚莎
• 来源期刊: 电脑迷
• 关键词: Django 可配置爬虫系统 Python
• 年，卷（期）: 2018,（28）
• 所属期刊栏目: 综合论坛
• 页码范围: 203
• 页数: 1页
• 字数: 1805字
• 语种: 中文
• DOI: 10.3969/j.issn.1672-528X.2018.28.182

摘要

人类社会已经进入天大据时代,数据呈指数增长趋势,对于数据采集者,虽然可以采用成熟的爬虫框架构建爬虫系统,但构建过程复杂,仍然需要使用者重复缩写大量程序代码,数据采集效率不高.系统基于Python语言和Django框架技术,构建了一个可配置的自动化爬虫系统,用户可通过前端配置需构建的爬虫系统参数,系统据此爬取对应信息入库,并为用户提供数据的打包下载,数据采集完成后显示在前端,从而提高数据采集效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	梁艳华	重庆大学城市科技学院电气信息学院	10	21	3.0	4.0
2	龚莎	重庆大学城市科技学院电气信息学院	1	1	1.0	1.0
3	朱应钦	重庆大学城市科技学院电气信息学院	1	1	1.0	1.0