基于 Counting Bloom Filter 的海量网页快速去重研究

• 作者: 刘年国 吴家奇 李雪 王芬 陶涛
• 来源期刊: 安徽电气工程职业技术学院学报
• 学科: 工学
• 关键词: 网页去重 MD5指纹库 Counting Bloom Filter IMP-CBFilter算法
• 年，卷（期）: 2016,（3）
• 所属期刊栏目: 自动控制与计算机应用
• 页码范围: 92-97
• 页数: 6页
• 分类号: TP393
• 字数: 4745字
• 语种: 中文

摘要

网页去重是从给定的大量的数据集合中检测出冗余的网页，然后将冗余的网页从该数据集合中去除的过程，其中基于同源网页的URL去重的研究已经取得了很大的发展，但是针对海量网页去重问题，目前还没有很好的解决方案，文章在基于MD5指纹库网页去重算法的基础上，结合Counting Bloom Filter算法的特性，提出了一种快速去重算法IMP-CBFilter。该算法通过减少I／O频繁操作，来提高海量网页去重的效率。实验表明，IMP-CBFilter算法的有效性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴家奇		3	4	2.0	2.0
2	刘年国		3	4	2.0	2.0
3	李雪		4	5	2.0	2.0
4	陶涛		2	3	1.0	1.0
5	王芬		3	3	1.0	1.0