基于Redis的海量小文件分布式存储方法研究

• 作者: 刘高军 王帝澳
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: HDFS 小文件 文件缓存 分布式文件系统
• 年，卷（期）: 2013,（10）
• 所属期刊栏目: 大数据
• 页码范围: 58-64
• 页数: 7页
• 分类号: TP393
• 字数: 5927字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2013.10.007

摘要

小文件作为信息传输、存储的重要方式,使用相当广泛,用户对其可靠性和速度的要求也在不断提高.针对目前小文件存储效率较低的问题,首先结合分布式存储系统HDFS的大文件存储优势和Redis缓存技术,提出快速合并小文件的存储方案.把小文件合并为Sequence File存储到HDFS上,采用多元线性回归分析确定负载系数进行负载均衡调节,并在获取文件时使用缓存保证效率.在实验上,搭建相应的文件平台,分别对上传、获取、删除以及内存占用和传统直接上传的方式进行对比分析.可以看出,与传统的直接上传文件到HDFS的方式相比,经过改进的小文件处理方式可以在保证文件可靠性的同时,更快速地处理小文件.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘高军	北方工业大学信息工程学院	41	237	7.0	15.0
2	王帝澳	北方工业大学信息工程学院	1	69	1.0	1.0