大数据中心数据去重问题研究

• 作者: 姚晋芳 褚开锋 赵毅丰 郎为民
• 来源期刊: 电信快报
• 关键词: 大数据中心 数据去重 技术框架 冗余数据 编码
• 年，卷（期）: 2018,（10）
• 所属期刊栏目: 技术交流
• 页码范围: 1-6
• 页数: 6页
• 字数: 5018字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-1339.2018.10.001

摘要

越来越多的用户选择将数据外包到大数据中心,这会不可避免地在云存储系统中产生海量的冗余数据,从而导致大数据中心云存储系统中数据规模呈指数级增长,且大量重复数据的存储和传输会浪费巨大的存储空间和网络带宽.文章分析数据去重的发展历程,归纳客户端、网络和服务器端冗余数据产生的机理,给出数据去重的科学内涵,列举数据去重的类型,描述数据去重的优缺点,研究数据去重的基本框架和一般过程.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郎为民	中国人民解放军国防科技大学信息通信学院	29	47	4.0	5.0
2	赵毅丰	中国人民解放军国防科技大学信息通信学院	12	16	2.0	3.0
3	姚晋芳	中国人民解放军国防科技大学信息通信学院	10	11	2.0	3.0