基于NoSQL的海量航空物流小文件分布式多级存储方法

• 作者: 丁建立 曹卫东 李永华 罗云生 郑峰弓
• 来源期刊: 计算机应用研究
• 关键词: 小文件 Redis HDFS 多级存储 预取机制
• 年，卷（期）: 2017,（5）
• 所属期刊栏目: 系统应用开发
• 页码范围: 1433-1436,1441
• 页数: 5页
• 分类号: TP311
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2017.05.035

摘要

为了解决航空物流领域海量小文件存储效率和访问效率不高的问题,提出一种基于NoSQL的海量小文件分布式多级存储方法.充分考虑到数据的时效性、本地性、操作的并发性以及文件之间的相关性,先根据相关性将文件合并,然后采用分布式多级存储,使用内存式Redis数据库做缓存,HDFS做数据的持久化存储,其过程采用预取机制.实验结果表明,该方法有效提高了小文件的存取效率和磁盘的利用率,显著地降低了网络的带宽占用和集群NameNode的内存消耗,适合解决航空领域海量小文件存储问题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	丁建立	中国民航大学计算机科学与技术学院	56	368	11.0	16.0
5	曹卫东	中国民航大学计算机科学与技术学院	39	264	10.0	15.0
9	李永华	中国民航大学计算机科学与技术学院	9	48	5.0	6.0
10	罗云生	中国民航大学计算机科学与技术学院	3	12	2.0	3.0
11	郑峰弓	中国民航大学计算机科学与技术学院	2	12	2.0	2.0