一种Hadoop小文件存储和读取的方法

• 作者: 何婷婷 张春明 芮建武
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: HDFS 小文件 HIFM 分层索引 索引预加载 数据预取
• 年，卷（期）: 2012,（11）
• 页码范围: 95-100
• 分类号: TP311
• 字数: 6222字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2012.11.025

摘要

HDFS(HadoopDistributedFileSystem)凭借其高容错、可伸缩和廉价存储的优点,在当前面向云计算的应用场景中得到了广泛应用.然而,HDFS设计的初衷是存储超大文件,对于海量小文件,由于NameNode内存开销等问题,其存储和读取性能并不理想.提出一种基于小文件合并的方法HIFM(HierarchyIndexFileMerging),综合考虑小文件之间的相关性和数据的目录结构,来辅助将小文件合并成大文件,并生成分层索引.采用集中存储和分布式存储相结合的方式管理索引文件,并实现索引文件预加载.此外,HIFM采用数据预取的机制,提高顺序访问小文件的效率.实验结果表明,HIFM方法能够有效提高小文件存储和读取效率,显著降低NameNode和DataNode的内存开销,适合应用在有一定目录结构的海量小文件存储的应用场合.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	芮建武	中国科学院软件研究所基础软件国家工程中心	11	202	6.0	11.0
2	张春明	中国科学院软件研究所基础软件国家工程中心	4	162	4.0	4.0
3	何婷婷	中国科学院软件研究所基础软件国家工程中心	4	135	3.0	4.0