云存储中基于相似性的客户-服务端双端数据去重方法

• 作者: 燕彩蓉 钱凯
• 来源期刊: 东华大学学报（自然科学版）
• 学科: 工学
• 关键词: 云存储 数据去重 滑动窗口技术 数据指纹
• 年，卷（期）: 2018,（1）
• 所属期刊栏目: 计算机与信息工程
• 页码范围: 115-122
• 页数: 8页
• 分类号: TP391
• 字数: 6879字
• 语种: 中文

摘要

数据去重是云存储系统提高存储率的主要手段之一,为解决查重过程中因数据量大而导致的索引I/O瓶颈和数据块指纹冲突问题,从而提高查重效率和去重准确度,提出了一种快速且安全的数据去重方法.该方法采用客户-服务器端双重检测框架,基于滑动窗口技术和Rabin指纹算法并根据文件内容确定数据块边界,摒弃传统的MD5和SHA1算法,应用第3代安全哈希函数SHA3来计算数据块的指纹.提出两级索引策略,基于数据相似性原理来加快索引查找和比对速度.试验结果表明,客户-服务器双重检测框架能有效提高系统查重效率,基于SHA3的数据块指纹计算更加精确,能有效提高去重准确度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	燕彩蓉	东华大学计算机科学与技术学院	21	155	8.0	12.0
2	钱凯	东华大学计算机科学与技术学院	1	1	1.0	1.0