基于柯西码的HDFS存储优化策略

• 作者: 杨焕焕 沈记全 谢果君
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 数据存储 柯西码 动态副本 负载均衡
• 年，卷（期）: 2019,（3）
• 所属期刊栏目: 高性能计算
• 页码范围: 440-445
• 页数: 6页
• 分类号: TP391
• 字数: 5166字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2019.03.008

摘要

随着大数据时代的到来,数据存储正接受着严峻的考验.为了改进传统Hadoop分布式文件系统HDFS存在的冗余度高、负载均衡能力不足等问题,提出了一种基于柯西码的动态分散式存储优化策略CDDS.对于系统中的数据块,在保证数据可用性的基础上,依据其热度的不同生成相应的存储方案.对于系统中的冷数据与热数据,分别采用基于柯西码的纠删码技术进行单副本与多副本存储,既保证了数据的可靠性又保证了系统的I/O能力.经测试,运用该策略存储数据所需要的存储空间减小为原来的75％,系统的可靠性与负载均衡能力也得到了增强.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	沈记全	河南理工大学计算机科学与技术学院	59	181	6.0	10.0
2	谢果君	河南理工大学计算机科学与技术学院	4	8	2.0	2.0
3	杨焕焕	河南理工大学计算机科学与技术学院	4	8	2.0	2.0