基于数据路由的分布式备份数据去重系统

• 作者: 唐彦 姚敏 尹建伟 罗智凌
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 数据去重 数据路由 数据预取 布隆过滤器 Jaccard距离
• 年，卷（期）: 2017,（2）
• 所属期刊栏目: 先进计算与数据处理
• 页码范围: 85-91
• 页数: 7页
• 分类号: TP391
• 字数: 6249字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2017.02.015

摘要

传统数据去重备份系统在大数据应用场景下存在备份存储空间过大和数据吞吐量不足等缺点.为此,基于数据路由设计一种分布式备份数据去重系统.该系统以数据片为去重粒度,具有数据路由和数据预取2个功能.数据路由使用布隆过滤器对需要处理的数据片进行路由查询,数据预取则使用平均取样和基于Jaccard距离的近邻取样方案.通过数据路由分配数据片到相应处理节点进行处理,平均取样得到的数据片哈希码为数据路由提供路由信息,近邻取样得到的数据片哈希码用于系统首次数据去重.实验结果表明,该系统在保证数据去重率的同时,相对全节点查询和定点路由的数据片路由方式数据吞吐量提升明显.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	尹建伟	浙江大学计算机科学与技术学院	66	1037	17.0	30.0
2	姚敏	浙江大学计算机科学与技术学院	56	694	14.0	25.0
3	唐彦	浙江大学计算机科学与技术学院	1	3	1.0	1.0
4	罗智凌	浙江大学计算机科学与技术学院	2	9	2.0	2.0