基于新型存储器件的分布式文件系统性能优化

• 作者: 张晓 石佳 程文迪 董聪
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 分布式文件系统 Hadoop分布式文件系统 非易失性存储器 性能优化 异步写入
• 年，卷（期）: 2020,（12）
• 所属期刊栏目: 计算机软件技术
• 页码范围: 3594-3603
• 页数: 10页
• 分类号: TP311
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2020050632

摘要

新型存储器件的I/O性能通常比传统固态驱动器(SSD)高一个数量级,然而使用新型存储器件的分布式文件系统相对于使用SSD的分布式文件系统性能并没有显著的提高,这说明目前的分布式文件系统并不能充分发挥新型存储器件的性能.针对这个问题,对Hadoop分布式文件系统(HDFS)的数据写入流程及传输过程进行了量化分析.通过量化分析HDFS数据写入过程各阶段的时间开销,发现在写入数据的各个阶段中,节点间数据传输的时间占比较大.因此提出了对应的优化方案,通过异步写入的方式并行化数据传输与处理过程,使得不同数据包的处理阶段叠加起来,减少了数据包整体的处理时间,从而提升了HDFS的写入性能.实验结果表明,所提方案将HDFS的写入吞吐量提升了15％～24％,总体的写入执行时间降低了28％～36％.