基于Bloom Filter的网络爬虫URL消重算法研究

• 作者: 王春梅
• 来源期刊: 产业与科技论坛
• 学科: 工学
• 关键词: 网络爬虫 Bloom Filter算法 hash函数 MD5
• 年，卷（期）: 2011,（18）
• 所属期刊栏目: 科技创新
• 页码范围: 55-56
• 分类号: TP391.3
• 字数: 2112字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-5641.2011.18.032

摘要

针对网络大量重复页面,本文研究基于Bloom Filter的网络爬虫URL地址消重算法.首先,本文对Bloom Filter算法进行了分析研究；其次,本文应用Bloom Filter算法设计并实现了网络爬虫的URL消重；最后,论文采用URL消重率争爬虫爬取某类网站所用时间等性能指标,对基于遍历法和基于MD5算法的URL消重性能与基于Bloom Filter的消重性能做了对比.实验证明,基于Bloom Filter的网络爬虫URL地址消重算法效率较高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王春梅	四川大学计算机学院	17	72	5.0	8.0