一种基于Redis的分布式爬虫系统设计与实现

• 作者: 罗娇敏 耿茜
• 来源期刊: 软件
• 学科: 工学
• 关键词: Redis 分布式 主从式 爬虫系统
• 年，卷（期）: 2017,（10）
• 所属期刊栏目: 基金项目论文
• 页码范围: 83-87
• 页数: 5页
• 分类号: TP393.07
• 字数: 3058字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-6970.2017.10.015

摘要

随着互联网技术的飞速发展,互联网信息和资源呈指数级爆炸式增长.如何快速有效的从海量的网页信息中获取有价值的信息,用于搜索引擎和科学研究,是一个关键且重要的基础工程.分布式网络爬虫较集中式网络爬虫具有明显的速度与规模优势,能够很好的适应数据的大规模增长,提供高效、快速、稳定的Web数据爬取.本文采用Redis设计实现了一个主从式分布式网络爬虫系统,用于快速、稳定、可拓展地爬取海量的Web资源.系统实现了分布式爬虫的核心框架,可以完成绝大多数We b内容的爬取,并且节点易于拓展,爬取内容可以定制,主从结构使得系统稳定且便于维护.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	罗娇敏	南京航空航天大学金城学院信息工程系	8	6	2.0	2.0
2	耿茜	南京航空航天大学金城学院信息工程系	6	11	2.0	3.0