一种基于滑动分块的重复数据检测算法

• 作者: 潘久辉 郑亚光
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 重复数据检测 匹配失败数据段 SBBS算法 窗口计算 校验和算法 回溯
• 年，卷（期）: 2016,（2）
• 所属期刊栏目: 软件技术与数据库
• 页码范围: 38-44
• 页数: 7页
• 分类号: TP391.1
• 字数: 5412字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2016.02.007

摘要

当被插入或删除的字节接近于匹配失败数据段两侧时,会导致SBBS算法回溯功能局部甚至完全失效.为此,提出一种改进的重复数据检测算法.采用滑动与滚动相结合的窗口移动模式减少窗口计算量,利用Rsync滚动校验和算法与MD5算法优化窗口计算模式,加快匹配速度.通过回溯匹配失败数据段,检测其中的重复数据段,以提升重复数据的检测精度.实验结果表明,与SBBS算法相比,该算法在重复数据段均匀分布与非均匀分布时的查全率分别提高约4.32％和5.28％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	潘久辉	暨南大学信息科学技术学院	28	190	8.0	12.0
2	郑亚光	暨南大学信息科学技术学院	1	7	1.0	1.0