面向分布式文件存储系统的数据恢复策略

• 作者: 胡至洵
• 来源期刊: 能源与环保
• 学科: 工学
• 关键词: 分布式存储 纠删码 流水线并行化 网络拓扑
• 年，卷（期）: 2018,（3）
• 页码范围: 131-137
• 页数: 7页
• 分类号: TP391.4
• 字数: 6829字
• 语种: 中文
• DOI: 10.19389/j.cnki.1003-0506.2018.03.028

摘要

分布式存储系统构建于大量的廉价节点之上,使得节点失效成为一种常态.为了保证数据的可靠性,系统必须具备数据容错方案.纠删码冗余方案可以在提供更低的存储开销的同时,获得和副本冗余方案相同的可靠性.但是在实际运用中,基于纠删码的存储系统在恢复数据时,恢复节点需要从多个存活节点读取数据到本地,然后通过解码算法恢复出数据.这不仅对恢复节点造成了较大压力,而且会占据大量的网络带宽,影响系统整体性能.由此,提出了一种基于纠删码的存储系统数据恢复优化方法.通过对纠删码恢复算法的分析,证明了纠删码的恢复操作是可以并行的;设计了一种基于流水线的并行化数据恢复方案;通过分析现实中的网络拓扑结构,设计了一种可以最小化恢复过程中数据传输总长度的算法,提高网络中高层数据链路利用率.实验表明,相比目前存在的星型恢复方式,流水线式并行恢复方法可以显著降低数据恢复延时,提高恢复效率.