分布式爬虫系统中URL去重的设计与实现

• 作者: 周奎 陈宇伦
• 来源期刊: 现代信息科技
• 学科: 工学
• 关键词: 分布式爬虫系统 URL去重 URL去重协议
• 年，卷（期）: 2019,（11）
• 所属期刊栏目: 计算机技术
• 页码范围: 105-106,110
• 页数: 3页
• 分类号: TP319
• 字数: 2393字
• 语种: 中文
• DOI: 10.3969/j.issn.2096-4706.2019.11.040

摘要

目前全球URL总数在350亿以上,在满足时效性的前提下,越来越多地选择采用分布式爬虫技术,它可以快速高效地从Web中获取有价值的数据.基于Redis数据库设计一种相关去重协议,实现URL去重,有利于提高分布式系统的稳定性和高效性,以及保持整个系统对URL去重的一致性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周奎	湖北汽车工业学院电气与信息工程学院	11	39	4.0	6.0
2	陈宇伦	湖北汽车工业学院电气与信息工程学院	1	1	1.0	1.0