一种面向HDFS中海量小文件的存取优化方法

• 作者: 孙玉强 王文闻 顾玉宛
• 来源期刊: 计算机应用研究
• 关键词: 海量小文件 文件相关性 合并 预取
• 年，卷（期）: 2017,（8）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 2319-2323
• 页数: 5页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2017.08.019

摘要

为了解决HDFS(Hadoop distributed file system)在存储海量小文件时遇到的NameNode内存瓶颈等问题,提高HDFS处理海量小文件的效率,提出一种基于小文件合并与预取的存取优化方案.首先通过分析大量小文件历史访问日志,得到小文件之间的关联关系,然后根据文件相关性将相关联的小文件合并成大文件后再存储到HDFS.从HDFS中读取数据时,根据文件之间的相关性,对接下来用户最有可能访问的文件进行预取,减少了客户端对NameNode节点的访问次数,提高了文件命中率和处理速度.实验结果证明,该方法有效提升了Hadoop对小文件的存取效率,降低了NameNode节点的内存占用率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙玉强	常州大学信息科学与工程学院	19	65	5.0	7.0
2	顾玉宛	常州大学信息科学与工程学院	9	26	3.0	5.0
3	王文闻	常州大学信息科学与工程学院	3	15	2.0	3.0