基于HDFS的云存储系统小文件优化方案

• 作者: 杨坚 王嵩 邹振宇 郑烇
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: Hadoop分布式文件系统 小文件 预提取 随机化 动态调整
• 年，卷（期）: 2016,（3）
• 所属期刊栏目: 软件技术与数据库
• 页码范围: 34-40,46
• 页数: 8页
• 分类号: TP391
• 字数: 5515字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2016.03.007

摘要

Hadoop分布式文件系统(HDFS)具有高容错、可伸缩、廉价存储等优良特性,在大数据存储和分析场景中得到广泛应用.但对于海量小文件存储,HDFS存在高内存消耗、高延迟访问等缺陷.为此,结合“合肥城市云”系统“一次上传,多次下载”的特性,提出一种基于小文件属性的优化方案.根据文件之间的相关性设定优先级,对小于5 MB的文件按优先级高低合并后再上传,并生成索引记录.结合随机化思想,采用两级缓存策略,将预提取数据缓存在内存池中,提高访问效率.同时,系统定期查询访问日志,根据用户访问习惯,动态调整预提取因子的大小.实验结果表明,该方案能有效提高小文件访问效率,降低名字节点和数据节点的内存开销,在有海量小文件存取的情况下提升系统的交互性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨坚	中国科学技术大学自动化系	48	245	9.0	13.0
2	王嵩	中国科学技术大学自动化系	59	284	8.0	14.0
3	郑烇	中国科学技术大学自动化系	55	331	9.0	15.0
4	邹振宇	中国科学技术大学自动化系	3	18	1.0	3.0