基于分级编码的高可靠存储策略

• 作者: 冯清青 孟丹 韩冀中
• 来源期刊: 高技术通讯
• 关键词: 大数据 存储 可靠性 容错 低冗余 分级 编码
• 年，卷（期）: 2013,（11）
• 所属期刊栏目: 计算机与通信技术
• 页码范围: 1103-1109
• 页数: 7页
• 字数: 5783字
• 语种: 中文
• DOI: 10.3772/j.issn.1002-0470.2013.11.001

摘要

研究了适应当前大数据时代的数据可靠性存储,针对已有存储策略难以同时满足高可靠性存储和高空间利用的需求的问题,提出了一种面向大数据的高可靠低冗余分级编码存储策略.该策略考虑到数据因类型不同、生命周期不同而重要程度有别的特性,可为不同类型数据分别设定容错级别;将不同冗余度的容错编码方式在一套统一存储架构中实现,用一组简单参数设置为数据选择恰当的容错级别编码存储;通过动态降低历史数据的冗余度进一步减少存储空间开销.实验验证了其有效性.对重要小文件采用高容错级别的编码分片存储,能在系统95％存储节点失效的情况下,根据编码后的部分数据分片快速修复所有数据;对普通文件采用适当放松的容错编码级别,在保证数据快速、无损修复的前提下比传统3副本策略节省1.5倍的存储空间.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孟丹	中国科学院信息工程研究所	68	909	15.0	28.0
2	韩冀中	中国科学院信息工程研究所	24	166	6.0	12.0
3	冯清青	中国科学院计算技术研究所计算机应用研究中心	1	0	0.0	0.0