基于多特征匹配和Bloom filter的重复数据删除算法

• 作者: 叶志佳 屈英 张宗华 牛新征
• 来源期刊: 深圳大学学报（理工版）
• 学科: 工学
• 关键词: 计算技术 重复数据删除 多特征匹配 布隆过滤器 EB算法 磁盘优化
• 年，卷（期）: 2016,（5）
• 所属期刊栏目: 电子与信息科学
• 页码范围: 531-535
• 页数: 5页
• 分类号: TP301.6
• 字数: 3294字
• 语种: 中文
• DOI: 10.3724/SP.J.1249.2016.05531

摘要

针对EB(extreme binning)算法重复数据删除率低,磁盘I/O开销大的缺陷,提出基于多特征匹配和Bloom filter的重复数据删除算法DBMB(deduplication based on multi-feature matching and Bloom filter).将小文件聚合为局部性文件单元,作为一个整体进行去重处理,采用最大、最小以及中间数据块ID的多重相似性特征进行匹配,并基于Bloom filter优化磁盘数据块的查找和匹配过程.结果表明,DBMB算法能有效提升重复数据删除率,降低算法执行时间,同时减少处理小文件的内存开销,性能提升显著.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	牛新征	电子科技大学计算机科学与工程学院	45	470	10.0	20.0
2	张宗华	国家电网公司北京电力医院信息通讯部	4	16	3.0	4.0
3	叶志佳	电子科技大学计算机科学与工程学院	3	21	3.0	3.0
4	屈英	电子科技大学计算机科学与工程学院	1	5	1.0	1.0