指纹极值的双层重复数据删除算法

• 作者: 王青松 葛慧
• 来源期刊: 辽宁大学学报（自然科学版）
• 学科: 工学
• 关键词: 重复数据删除 指纹极值 备份系统 Hadoop 数据存储
• 年，卷（期）: 2018,（3）
• 所属期刊栏目: 数学与信息技术
• 页码范围: 201-207
• 页数: 7页
• 分类号: TP311
• 字数: 4033字
• 语种: 中文

摘要

为提高重复数据删除算法的重删率,减少CDC算法边界硬分块,使重复数据删除率和性能之间得到平衡,提出了指纹极值的双层重复数据删除算法(DDFE).首先在第一层重复数据删除模型中使用较大的分块大小,保证重删操作的速度;然后将第一层模型重删后的不重复数据输入到分块大小较小的第二层重复数据删除模型,保证重复数据删除的精度.数据分块时,在可容忍范围内,提出了指纹极值的分块算法,减少了硬分块对重复删除的影响.在多种分块组合下的实验结果表明,与任何传统的单层重复数据删除算法相比,DDFE能够较好地防止硬分块、平衡性能和时间,在大量小数据块和频繁变化的数据间有效地消除更多的重复数据.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王青松	辽宁大学信息学院	20	83	5.0	9.0
2	葛慧	辽宁大学信息学院	3	2	1.0	1.0