HDFS中高效存储小文件的方法

• 作者: 尹颖 林庆 林涵阳
• 来源期刊: 计算机工程与设计
• 学科: 工学
• 关键词: Hadoop分布式文件系统 海量小文件 性能优化 职责分离 合并小文件
• 年，卷（期）: 2015,（2）
• 所属期刊栏目: 软件与算法
• 页码范围: 406-409
• 页数: 4页
• 分类号: TP338.8
• 字数: 3168字
• 语种: 中文
• DOI: 10.16208/j.issn1000-7024.2015.02.024

摘要

为改善应用Hadoop分布式文件系统存储大量小文件时效率低下的问题，将NameNode职责分离，使用单独的NFS服务器同步存储元数据信息，以降低Client数据请求压力，提供大吞吐量数据访问并改善访问延迟；设计文件与数据块的对应模式，允许在同一块中存储多个小文件，并对系统加以实现，为海量小文件的存储提供了一个有效的解决方案。实验结果表明，该机制可以在数据迅速增长的背景下实现海量小文件的高效存取。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	林庆	江苏大学计算机科学与通信工程学院	39	468	12.0	20.0
5	尹颖	江苏大学计算机科学与通信工程学院	1	25	1.0	1.0