一种基于混合索引的HDFS小文件存储策略

• 作者: 熊安萍 邹洋 黄容
• 来源期刊: 重庆邮电大学学报（自然科学版）
• 学科: 工学
• 关键词: Hadoop分布式文件系统(HDFS) 小文件 元数据服务器 缓存 混合索引
• 年，卷（期）: 2015,（1）
• 所属期刊栏目: 计算机与自动化
• 页码范围: 97-102
• 页数: 6页
• 分类号: TP393
• 字数: 4280字
• 语种: 中文
• DOI: 10.3979/j.issn.1673-825X.2015.01.017

摘要

Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用.针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于混合索引的小文件存储策略,应用分类器分类标记小文件,并在元数据服务器建立H-B+树索引,在存储节点根据小文件大小建立不同的块内索引,达到提高小文件访问效率的目标.实现中采用缓存结构,以提高客户端访问的响应速度,同时也有利于元数据服务器节点的内存负载.实验结果表明,基于混合索引的小文件存储策略能有效提高小文件访问效率,并显著降低元数据节点内存开销.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	熊安萍	重庆邮电大学计算机科学与技术学院	44	302	9.0	15.0
2	邹洋	重庆邮电大学计算机科学与技术学院	16	85	6.0	8.0
3	黄容	重庆邮电大学计算机科学与技术学院	3	20	2.0	3.0