基于范德蒙码的 HDFS 优化存储策略研究

• 作者: 宋宝燕 王俊陆 王妍
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 大数据 HDFS 范德蒙码 分散式动态副本 优化存储
• 年，卷（期）: 2015,（9）
• 所属期刊栏目: 数据科学与工程
• 页码范围: 1825-1837
• 页数: 13页
• 分类号: TP311
• 字数: 11401字
• 语种: 中文
• DOI: 10.11897/SP.J.1016.2015.01825

摘要

随着大数据时代的到来，新型文件系统 HDFS（Hadoop 分布式文件系统）的应用越来越广泛。但其本身也存在着整体存储成本过高、可扩展性低、节点负载均衡能力不足等问题。因此，该文提出了一种基于范德蒙码的HDFS 分散式动态副本存储优化策略，针对 HDFS 大多部署在大量的廉价硬件集群上的实际情况，在范德蒙码优化策略的基础上，采用分散式动态副本控制的思想对 HDFS 文件操作的计算过程、计算模式以及译码触发策略进行系统的改进，并通过校验码动态设置的方式将容错度控制在一个理想的范围之内，此外，结合伽罗华有限域理论对范德蒙码的编译码操作及计算方法进行全面优化，在不影响 HDFS 存储结构的前提下，降低了范德蒙码编译码的时间代价和计算的内存压力，节约了 HDFS 约30％的存储开销，数据可靠性提高了约200％，均衡 HDFS 系统节点负载能力，译码恢复效率平均提升约40％，形成了一套完整的、系统的优化方案，为未来 HDFS 的发展提供了一条有效途径。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	宋宝燕	辽宁大学信息科学与技术学院	87	360	11.0	15.0
2	王妍	辽宁大学信息科学与技术学院	26	167	8.0	12.0
3	王俊陆	辽宁大学信息科学与技术学院	16	96	5.0	9.0