基于分布式索引和目录聚合的海量小文件存储研究

• 作者: 孟丹 熊劲 马灿
• 来源期刊: 高技术通讯
• 关键词: 小文件 海量存储 分布式索引 目录聚合 分布式文件系统
• 年，卷（期）: 2012,（10）
• 所属期刊栏目: 计算机与通信技术
• 页码范围: 1035-1040
• 页数: 6页
• 字数: 4361字
• 语种: 中文
• DOI: 10.3772/j.issn.1002-0470.2012.10.006

摘要

针对海量小文件访问问题的挑战,提出了用基于分布式索引和目录聚合的分布式文件系统——超虚拟文件系统(HVFS)来管理数十亿个小文件的方法,以支持高并发、高吞吐、低延迟的访问.重点讨论了目录索引、目录存储问题,提出了利用可扩展哈希索引来降低延迟、提高扩展性,利用日志结构和列存储的目录聚合来提高吞吐率的方法.测试结果表明,HVFS的存储性能能够线性扩展,82节点上峰值创建速度接近百万每秒,与GIGA+相比有200％以上的提升,小文件I/O性能与OrangeFS相比有60倍以上的提升,充分验证了分布式索引和目录聚合方法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孟丹	中国科学院计算技术研究所高性能计算机研究开发中心	68	909	15.0	28.0
2	熊劲	中国科学院计算技术研究所高性能计算机研究开发中心	18	106	6.0	10.0
3	马灿	中国科学院计算技术研究所高性能计算机研究开发中心	6	181	5.0	6.0