基于Scrapy的分布式爬虫采集软件的实现

• 作者: 廖翔宇 甘宇健 祝光仪 翁绍菲 范雅静
• 来源期刊: 电脑知识与技术:学术版
• 学科: 工学
• 关键词: 爬虫软件 C# Scrapy框架 分布式 REDIS
• 年，卷（期）: 2019,（7Z）
• 页码范围: 73-75
• 页数: 3页
• 分类号: TP311

摘要

近年来,随着互联网的迅速发展,人们对于数据的挖掘与应用越来越重视。为了让程序自动浏览互联网中的海量网页,把用户需要的信息进行收集整理,转化成便于阅读的形式并存储起来,方便用户的理解和使用。研究了分布式爬虫和Scrapy框架,将Scrapy和Redis相结合,设计并实现了一个基于Scrapy框架的分布式网站采集系统。结果表明该系统操作简单,可以降低编写爬虫的难度,同时分布式的采用也提高了爬虫采集的效率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	甘宇健	广西财经学院信息与统计学院	20	41	3.0	6.0
2	范雅静	广西财经学院信息与统计学院	14	11	2.0	2.0
3	廖翔宇	广西财经学院信息与统计学院	4	0	0.0	0.0
4	翁绍菲	广西财经学院信息与统计学院	2	0	0.0	0.0
5	祝光仪	广西财经学院信息与统计学院	2	0	0.0	0.0