基于HDFS的海量文件存储优化设计

• 作者: 李娜
• 来源期刊: 电脑编程技巧与维护
• 关键词: HDFS技术 海量数据 Hadoop分布式文件系统
• 年，卷（期）: 2016,（7）
• 所属期刊栏目: 数据库与信息管理
• 页码范围: 63-65
• 页数: 3页
• 字数: 4289字
• 语种: 中文

摘要

针对Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)在存储海量数据时对小文件支持性能低下的问题,提出了基于HDFS的通用文件存储系统(Common File Storage-Hadoop Distributed File System,CFSHDFS).该方案采用了分类处理的设计思想,区别对待大文件和小文件.对大文件不做任何处理,按照HDFS原有的流程完成既定的操作;对小文件的存取,经过缓存、预读、合并等机制的处理,从而在提高Namenode内存利用率和Datanode空间利用率的基础上,提高了小文件的读写性能.区别对待文件的处理以及对小文件的一系列的处理,对用户来说都是透明的,因此,该方案并不会增加用户使用HDFS的复杂性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李娜	陕西学前师范学院计算机与电子信息系	5	13	1.0	3.0