一种Hadoop小文件存储优化方案

• 作者: 张程 王全民 赵小桐 雷佳伟
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: Hadoop分布式文件系统 小文件 合并算法 文件关联
• 年，卷（期）: 2016,（11）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 41-44
• 页数: 4页
• 分类号: TP301
• 字数: 3305字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2016.11.009

摘要

Hadoop分布式文件系统( HDFS)适合处理和存储大文件，在处理的文件体积较大时表现出色，但是在处理海量的小文件时效率和性能下降明显，过多的小文件将会导致整个集群的负载过高。为了提高HDFS处理小文件的性能，提出了双重合并算法-即基于文件之间的关联关系和基于数据块平衡的小文件合并算法，能够将小文件的文件体积大小进行均匀分布。通过该算法能够进一步提升小文件的合并效果，减少HDFS集群主节点内存消耗，降低负载，有效降低合并所需的数据块数量，最终能够提高HDFS处理海量小文件的性能。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王全民	北京工业大学计算机学院	44	222	7.0	12.0
2	张程	北京工业大学计算机学院	4	26	3.0	4.0
3	雷佳伟	北京工业大学计算机学院	2	8	1.0	2.0
4	赵小桐	北京工业大学计算机学院	2	8	1.0	2.0