面向海量小文件的分布式存储系统设计与实现

• 作者: 孙国玉 朱丽萍 李洪奇 王露
• 来源期刊: 计算机工程与设计
• 学科: 工学
• 关键词: 分布式存储 小文件 海量数据 Protobuf 并发性
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 嵌入式系统工程
• 页码范围: 86-92
• 页数: 7页
• 分类号: TP316.4
• 字数: 4785字
• 语种: 中文
• DOI: 10.16208/j.issn1000-7024.2016.01.018

摘要

针对当前大数据环境下急速增长的小文件的保存和管理问题,提出一种基于分布式海量小文件存储系统的设计和实现方案.采用IO复用和异步调用技术开发分布式系统,保证良好的并发性能和扩展性,使用Redis系统提高元数据存储和检索效率,采用Google Protobuf设计一套消息传递和分发机制,通过块存储方案提高大量小文件在单机存储系统上的IO效率并降低磁盘碎片化.实验结果表明,该系统在并发性、吞吐率测试上都有良好表现,是一个较为稳定高效的海量小文件分布式存储系统.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李洪奇	中国石油大学地球物理与信息工程学院	50	640	15.0	23.0
5	朱丽萍	中国石油大学地球物理与信息工程学院	15	144	6.0	11.0
9	王露	中国石油大学地球物理与信息工程学院	11	55	5.0	7.0
13	孙国玉	中国石油大学地球物理与信息工程学院	3	20	2.0	3.0