一种基于HDFS小文件存储优化方案

• 作者: 张晓丽 滑亚慧
• 来源期刊: 计算技术与自动化
• 关键词: Hadoop HDFS 小文件 缓存
• 年，卷（期）: 2017,（3）
• 所属期刊栏目: 计算机软件及应用
• 页码范围: 134-138
• 页数: 5页
• 分类号: TP391
• 语种: 中文

摘要

Hadoop分布式文件系统(HDFS)在大数据存储中具有优良的性能,适用于处理和存储大文件,但在海量小文件处理时性能显著下降,过多的小文件使得整个系统内存消耗过大.为了提高HDFS处理小文件的效率,改进了HDFS的存储方案,提出了海量小文件的存储优化方案.根据小文件之间的相关性进行分类,然后将同一类小文件合并上传,并生成索引文件,读取时采用客户端缓存机制以提高访问效率.实验结果表明,该方案在数据迅速增长的情况下能有效提高小文件访问效率,降低系统内存开销,提高HDFS处理海量小文件的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张晓丽	西安航空学院计算机学院	15	38	5.0	5.0
2	滑亚慧	西安航空学院计算机学院	3	8	2.0	2.0