分布式存储系统中的预测式纠删码研究

• 作者: 张航 唐聃 蔡红亮
• 来源期刊: 计算机科学
• 关键词: 分布式存储系统 硬盘故障 数据修复 纠删码 故障预测
• 年，卷（期）: 2021,（5）
• 所属期刊栏目: 数据库&大数据&数据科学|Database & Big Data & Data Science
• 页码范围: 130-139
• 页数: 10页
• 分类号: TP302.8
• 语种: 中文
• DOI: 10.11896/jsjkx.200300124

摘要

纠删码消耗的存储空间较少,获得的数据可靠性较高,因此被分布式存储系统广泛采用.但纠删码在修复数据时较高的修复成本限制了其应用.为了降低纠删码的修复成本,研究人员在分组码和再生码上进行了大量的研究.由于分组码和再生码属于被动容错方式,对于一些容易出现失效的节点,采用主动容错的方式能更好地降低修复成本,维护系统的可靠性,因此,提出了一种主动容错的预测式纠删(Proactive basic-Pyramid,PPyramid)码.PPyramid码利用硬盘故障预测方法来调整basic-Pyramid码中冗余块和数据块之间的关联,将预测出的即将出现故障的硬盘划分到同一小组,使得在修复数据时,所有的读取操作在小组内进行,从而减少读取数据块的个数,节省修复成本.在基于Ceph搭建的分布式存储系统中,在修复多个硬盘故障时,将PPyramid码与其他常用的纠删码进行对比.实验结果表明,相比basic-Pyramid码,PPyramid码能降低6.3％～34.9％的修复成本和减少7.6％～63.6％的修复时间,相比LRC码、pLRC码、SHEC码、DLRC码,能降低8.6％～52％的修复成本和减少10.8％～52.4％的修复时间.同时,PPyramid码构造灵活,具有很强的实际应用价值.