基于Hadoop处理小文件的优化策略

• 作者: 左大鹏 徐薇
• 来源期刊: 软件
• 学科: 工学
• 关键词: HDFS 小文件 HAR 索引策略 索引预取
• 年，卷（期）: 2015,（2）
• 页码范围: 107-111
• 页数: 5页
• 分类号: TP391.1
• 字数: 3583字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-6970.2015.02.023

摘要

HDFS(Hadoop Distributed File System)作为开源系统广泛地适用于各类存储服务中，具有高容错，易扩展，廉价存储等特点。然而，HDFS 基于单一的服务器 NameNode 来处理元数据信息管理，当处理海量小文件时会造成NameNode内存过分消耗以及存储和读取性能并不理想，使NameNode成为系统瓶颈。本文提出一种基于HAR(Hadoop Archive)的优化机制来提高NameNode存储元数据信息的内存利用效率和提高读取小文件的访问效率。另外，该策略也扩展了 HAR文件追加的优化和为提高访问效率采用索引预取机制。实验结果表明该优化策略能够提高现有 HAR处理小文件的能力和访问海量小文件的效率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐薇	北京交通大学计算机与信息技术学院	13	130	5.0	11.0
2	左大鹏	北京交通大学计算机与信息技术学院	1	14	1.0	1.0