基于压缩近邻的查重元数据去冗算法设计

• 作者: 叶鹏迪 姚文斌 常静坤 李小勇
• 来源期刊: 通信学报
• 学科: 工学
• 关键词: 重复数据删除 查重元数据 近邻压缩规则
• 年，卷（期）: 2015,（8）
• 所属期刊栏目: 学术论文
• 页码范围: 1-7
• 页数: 7页
• 分类号: TP391
• 字数: 5678字
• 语种: 中文
• DOI: 10.11959/j.issn.1000-436x.2015226

摘要

随着重复数据删除次数的增加,系统中用于存储指纹索引的清单文件等元数据信息会不断累积,导致不可忽视的存储资源开销.因此,如何在不影响重复数据删除率的基础上,对重复数据删除过程中产生的元数据信息进行压缩,从而减小查重索引,是进一步提高重复数据删除效率和存储资源利用率的重要因素.针对查重元数据中存在大量冗余数据,提出了一种基于压缩近邻的查重元数据去冗算法Dedup2.该算法先利用聚类算法将查重元数据分为若干类,然后利用压缩近邻算法消除查重元数据中相似度较高的数据以获得查重子集,并在该查重子集上利用文件相似性对数据对象进行重复数据删除操作.实验结果表明,Dedup2可以在保持近似的重复数据删除比的基础上,将查重索引大小压缩50％以上.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	姚文斌	北京邮电大学智能通信软件与多媒体北京市重点实验室	22	200	7.0	13.0
5	李小勇	北京邮电大学可信分布式计算与服务教育部重点实验室	8	196	4.0	8.0
6	常静坤	北京邮电大学智能通信软件与多媒体北京市重点实验室	4	14	3.0	3.0
10	叶鹏迪	中国铁道科学研究院机车车辆研究所	1	4	1.0	1.0