基于Scrapy的分布式爬虫采集软件的实现

• 作者: 廖翔宇 甘宇健 祝光仪 翁绍菲 范雅静
• 来源期刊: 电脑知识与技术
• 学科: 工学
• 关键词: 爬虫软件 C# Scrapy框架 分布式 Redis
• 年，卷（期）: 2019,（20）
• 所属期刊栏目: 软件设计开发
• 页码范围: 73-75
• 页数: 3页
• 分类号: TP311
• 字数: 2796字
• 语种: 中文

摘要

近年来,随着互联网的迅速发展,人们对于数据的挖掘与应用越来越重视.为了让程序自动浏览互联网中的海量网页,把用户需要的信息进行收集整理,转化成便于阅读的形式并存储起来,方便用户的理解和使用.研究了分布式爬虫和Scrapy框架,将Scrapy和Redis相结合,设计并实现了一个基于Scrapy框架的分布式网站采集系统.结果表明该系统操作简单,可以降低编写爬虫的难度,同时分布式的采用也提高了爬虫采集的效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	甘宇健	广西财经学院信息与统计学院	20	41	3.0	6.0
2	范雅静	广西财经学院信息与统计学院	14	11	2.0	2.0
3	廖翔宇	广西财经学院信息与统计学院	4	0	0.0	0.0
4	翁绍菲	广西财经学院信息与统计学院	2	0	0.0	0.0
5	祝光仪	广西财经学院信息与统计学院	2	0	0.0	0.0