基于 HBase 的小文件高效存储方法

• 作者: 熊安萍 熊风波
• 来源期刊: 重庆邮电大学学报（自然科学版）
• 学科: 工学
• 关键词: Hadoop 分布式文件系统(HDFS) 海量数据 HBase 小文件存储 读写性能
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 计算机与自动化
• 页码范围: 125-130
• 页数: 6页
• 分类号: TP393.0
• 字数: 3913字
• 语种: 中文
• DOI: 10.3979/j.issn.1673-825X.2016.01.019

摘要

基于 Hadoop 平台的相关系统得到了广泛应用。Hadoop 分布式文件系统（Hadoop distributed file system， HDFS）通过分布式的工作方式，负责处理海量文件数据。对 HDFS 而言，海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况，提出一种基于 HBase（Hadoop database）的海量小文件高效存储方法，利用 HBase 的存储优势，将小文件直接存储于 HBase，从而有效减少元数据节点服务器（Name-Node）的负载，并对上层应用系统提供透明的访问接口。实验结果表明，该方法可以实现海量小文件的高效存储，提高 HDFS 环境下小文件的读写效率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	熊安萍	重庆邮电大学计算机科学与技术学院	44	302	9.0	15.0
2	熊风波	重庆邮电大学计算机科学与技术学院	1	5	1.0	1.0