Hadoop云存储策略的研究与优化

• 作者: 朱岩 杨有科 林穗
• 来源期刊: 现代计算机：中旬刊
• 学科: 工学
• 关键词: 分布式文件系统 存储策略 数据副本 评价系数
• 年，卷（期）: xdjsjzxk_2016,（1）
• 页码范围: 33-37
• 页数: 5页
• 分类号: TP311.13

摘要

分布式文件系统（HDFS）是海量数据的主要存储方式。HDFS默认的存储策略中，采用固定的数据副本个数以及随机选择远端节点的策略来保证数据的本地性和安全性，但当系统发生故障需要进行数据恢复时，默认策略将会造成系统时间的损失和节点存储负载的不均衡。提出一种改进的HDFS存储策略，根据节点的失效率以及期望的数据可用性建立一种概率模型．通过模型来优化数据副本个数，并根据节点的评价系数来选择远端节点进行副本存储。实验结果表明该策略针对海量数据时提高系统的存储性能。