Hadoop下改进布隆过滤器算法的网页去重

• 作者: 杨海龙 黄伟建
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: Hadoop 布隆过滤器 副本数 MapReduce
• 年，卷（期）: 2017,（2）
• 所属期刊栏目: 高性能计算
• 页码范围: 285-290
• 页数: 6页
• 分类号: TP301
• 字数: 3590字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2017.02.010

摘要

针对服务器中存储的大量重复和相似数据造成的空间浪费问题,改进的布隆过滤器(Bloom Filter)算法通过增加位数组并根据位数组的重复命中次数所计算的权重来动态优化重复数据的副本数,然后在Hadoop分布式集群下对改进的算法进行并行实现,以进一步提高作业处理效率.实验结果表明,与传统网页去重算法相比,改进的Bloom Filter算法的并行实现不仅提高了作业的处理效率,而且通过基于位数组下动态重复次数对副本数的优化,在一定程度上节省了服务器的存储空间.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄伟建	河北工程大学信息与电气工程学院	43	119	6.0	9.0
2	杨海龙	河北工程大学信息与电气工程学院	2	1	1.0	1.0