基于生成矩阵变换的跨数据中心纠删码写入方法

• 作者: 包涵 王意洁 许方亮
• 来源期刊: 计算机研究与发展
• 学科: 工学
• 关键词: 跨数据中心存储 纠删码 容灾性 写入方法 容错技术
• 年，卷（期）: 2020,（2）
• 所属期刊栏目: 大数据与智能存储系统前沿技术专题
• 页码范围: 291-305
• 页数: 15页
• 分类号: TP302.8
• 字数: 12319字
• 语种: 中文
• DOI: 10.7544/issn1000-1239.2020.20190542

摘要

近年来,为了避免数据因数据中心故障而永久丢失,各大机构开始尝试采用容错技术将数据存放在跨数据中心存储系统中.作为一种具有高容错性和低冗余度的容错技术,纠删码被广泛应用于单数据中心存储系统中.然而,在跨数据中心存储系统中,已有纠删码写入方法的网络资源消耗量大、编码效率低且传输效率低,这使得跨数据中心纠删码的写入速度难以适应于日益增长的数据生成速度.为提高跨数据中心纠删码的写入速度,提出了一种基于生成矩阵变换的跨数据中心纠删码写入方法(cross-datacenter erasure code writing method based on generator matrix transformation,CREW).通过对传输拓扑和生成矩阵进行优化,CREW可使写入过程中需要长距离传输的数据块尽可能地少,从而达到降低网络资源消耗量的目的.通过在数据中心间采用分布式的数据传输和数据编码、在各数据中心内部采用集中式的数据传输和数据编码,CREW可在编码效率和传输效率间取得较好权衡.在跨数据中心环境下的实验表明:与2种广泛使用的传统纠删码写入方法相比,CREW的写入速度提高了36.3％～57.9％;与现有的跨数据中心纠删码写入方法IncEncoding相比,CREW的写入速度提高了32.4％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	许方亮	国防科技大学计算机学院	1	0	0.0	0.0