天地一体化网络中基于HDFS的元数据优化策略

• 作者: 杨杨 王坤 邱雪松
• 来源期刊: 无线电通信技术
• 学科: 工学
• 关键词: Hadoop HDFS 元数据管理 扩展性 内存映射文件
• 年，卷（期）: 2018,（1）
• 所属期刊栏目: 通信系统与网络技术
• 页码范围: 9-13
• 页数: 5页
• 分类号: TP274
• 字数: 4316字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-3114.2018.01.02

摘要

Hadoop分布式文件系统(HDFS)是Hadoop的核心之一,已经广泛应用于天地一体化网络数据的存储.但由于HDFS存储和管理的数据容量受限于命名节点(NameNode)的内存大小,其扩展性受到制约.针对NameNode管理元数据时存在的加载文件系统镜像(FSImage)时间过长、容量受内存大小限制等问题,提出将HDFS层级化的元数据结构调整为扁平化结构,并将元数据移出内存的优化思路,设计了基于日志结构合并树(Log-Structured Merge-Tree,LSM)与内存映射文件进行元数据管理的F-HDFS架构,并介绍了F-HDFS的元数据管理方式.通过F-HDFS的原型系统与HDFS的对比实验,表明F-HDFS性能整体优于HDFS,可提供稳定快速的元数据服务,能存储与管理超过HDFS 5.3倍以上的数据.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	邱雪松	北京邮电大学可信网络通信协同创新中心	167	1287	17.0	26.0
2	王坤	北京邮电大学可信网络通信协同创新中心	6	16	3.0	4.0
3	杨杨	北京邮电大学可信网络通信协同创新中心	12	41	4.0	6.0