基于Scrapy框架的数据采集系统设计与实现

• 作者: 王留芳 郅芬香
• 来源期刊: 信息记录材料
• 学科: 工学
• 关键词: 大数据 Scrapy框架 网络爬虫
• 年，卷（期）: 2020,（7）
• 所属期刊栏目: 记录:数据与存储
• 页码范围: 130-132
• 页数: 3页
• 分类号: TP311
• 字数: 3577字
• 语种: 中文

摘要

随着信息技术的不断发展,互联网已经迈入了大数据时代,如何高效地对海量信息数据进行抓取,分析和存储,已经成为当前研究的一个热点.本文使用Scrapy框架设计网络爬虫提取新闻报刊的标题、来源、链接地址、发布时间、正文等,详细介绍数据采集系统的设计与实现,该方法可以为数据分析项目提供数据采集及分析支持.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王留芳		21	7	1.0	2.0
2	郅芬香		25	17	3.0	3.0