基于纠删码和动态副本策略的HDFS改进系统

• 作者: 代翔 崔喆 李文杰 李晓恺
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: Hadoop分布式文件系统 分布式存储 数据容灾 负载均衡 动态副本
• 年，卷（期）: 2012,（8）
• 所属期刊栏目: 先进计算
• 页码范围: 2150-2153,2158
• 分类号: TP393.027.2|TP311.133.1
• 字数: 5245字
• 语种: 中文
• DOI: 10.3724/SP.J.1087.2012.02150

摘要

为了让Hadoop分布式文件系统(HDFS)达到更高的存储效率以及更加优化的负载均衡能力,针对HDFS的多副本存储技术提出了改进方案——Noah.Noah引入了编码和译码模块,对HDFS中的block进行编码分解,生成更多数量的数据分片(section),并随机地分散保存到集群当中,替代原有系统的多副本容灾策略；在集群出现节点失效的情况下,通过收集与失效block相关的任意70％左右的section进行原始数据的恢复；同时根据分布式集群运行情况以及对副本数目需求的不同采用动态副本策略.通过相关的集群实验,表明Noah在容灾效率、负载均衡、存储成本以及安全性上对HDFS作了相应的优化.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	崔喆	中国科学院成都计算机应用研究所	21	133	7.0	11.0
2	李文杰	中国科学院成都计算机应用研究所	13	157	6.0	12.0
6	李晓恺	中国科学院成都计算机应用研究所	1	39	1.0	1.0
10	代翔	中国科学院成都计算机应用研究所	2	42	2.0	2.0