基于低密度随机纠删码的TFS容灾优化方案

• 作者: 王子伟 王晓京
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 淘宝分布式文件系统 纠删码 数据容灾
• 年，卷（期）: 2016,（z2）
• 所属期刊栏目: 网络空间安全
• 页码范围: 66-68,81
• 页数: 4页
• 分类号: TP309.3|TP393
• 字数: 4101字
• 语种: 中文

摘要

针对淘宝分布式系统(TFS)数据容灾效率低且成本高的问题,提出了基于低密度随机纠删码的解决方案.该方案引入了一种新型的高性能纠删码(SRM码),对TFS中存放原数据的多个block块进行编码,生成的冗余信息存放在新的block块中以便进行数据恢复.与三副本容灾策略不同的是,该方案将TFS中存储数据的每个block块视为一个信息单位来进行容灾,当集群中某些block块出现异常或失效时,可使用SRM码的编码矩阵对其他相关的block块建立译码方程进行求解,从而恢复出丢失的数据.通过相关集群实验表明,该容灾机制在存储成本上比复制的方法节省了60～70％的空间,容灾效率以及扩展能力上也领先于其他纠删码方法,对TFS作出了很大的优化.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王晓京	中国科学院成都计算机应用技术研究所	32	339	9.0	17.0
2	王子伟	中国科学院成都计算机应用技术研究所	1	4	1.0	1.0