基于双布鲁姆过滤器的数据排重技术

• 作者: 席晔文 杨金民
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 重复数据删除 集合元素查询 布鲁姆过滤器 MD5 假阳性误判率
• 年，卷（期）: 2014,（23）
• 所属期刊栏目: 信号处理
• 页码范围: 198-202
• 页数: 5页
• 分类号: TP311.13
• 字数: 4977字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1301-0141

摘要

针对文件级单布鲁姆过滤器排重算法只能以文件为单位进行数据排重，数据块级单布鲁姆过滤器排重算法耗时过多的缺点，采用2个布鲁姆过滤器，创建文件级和数据块级2级数据排重的算法结构。实验结果表明，双布鲁姆过滤器排重算法可以以数据块为单位对数据排重，在保持低假阳性误判率的同时，相比数据块级单布鲁姆过滤器排重算法耗时缩短了43%~68%。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨金民	湖南大学信息科学与工程学院	55	424	12.0	18.0
2	席晔文	湖南大学信息科学与工程学院	1	2	1.0	1.0