基于Cache的海量图片存取优化方案

• 作者: 陈渝
• 来源期刊: 计算机测量与控制
• 关键词: HDFS 海量图片 存储优化 Cache
• 年，卷（期）: 2014,（8）
• 所属期刊栏目: 算法、设计与应用
• 页码范围: 2669-2672,2676
• 页数: 5页
• 分类号: TP391
• 语种: 中文

摘要

针对Hadoop分布式文件系统(Hadoop distributed file system,HDFS)存储海量图片效率低下的问题,在分析HDFS的基本框架以及其固有的文件读写流程基础上,提出了基于Cache的海量图片存储优化方案(HDFS based on Cache,CHDFS);该方案引入了Cache、预读、文件合并等机制,来提高图片读写的性能,弥补了HDFS存储海量图片时的缺陷;采用图片合并的方式减少Namenode中元数据的个数,同时提高Datanode存储空间的利用率;由于Cache、预读以及图片合并等操作对用户都是透明的,所以,该方案并没有增加用户使用HDFS的复杂性;实验结果表明,CHDFS方法可以有效地提高图片的存取效率.