基于Hadoop的海量统计小文件存取优化方案

• 作者: 付红阁 姜华 张怀锋
• 来源期刊: 聊城大学学报（自然科学版）
• 学科: 工学
• 关键词: HDFS 小文件 预处理模块 索引预取 缓存机制
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 应用科学研究
• 页码范围: 102-106
• 页数: 5页
• 分类号: TP311.5
• 字数: 2901字
• 语种: 中文

摘要

Hadoop作为一个开源的并行计算框架，它提供了一个分布式的文件存储系统 HDFS 。然而，当处理海量小文件时会产生NameNode内存使用率较高、存取性能并不理想的问题，导致NameNode成为系统瓶颈，从而制约了文件系统的可扩展性。本文结合统计工作，提出了一种小文件存储的优化策略，在 HDFS之上增加小文件预处理模块将文件进行分类，合并成M apfile ，并建立全局索引，另外该策略引入了索引预取机制和缓存机制。实验证明，该方法能有效提高大批量小文件的存取性能。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	姜华	聊城大学计算机学院	30	149	8.0	10.0
2	张怀锋	山东省统计局数据管理中心	5	7	2.0	2.0
3	付红阁	聊城大学计算机学院	2	2	1.0	1.0