基于HDFS的小文件存取优化研究

• 作者: 郭任喜
• 来源期刊: 人文之友
• 关键词: HDFS 小文件存取 优化研究
• 年，卷（期）: 2018,（3）
• 所属期刊栏目: 理论探索
• 页码范围: 6
• 页数: 1页
• 字数: 1628字
• 语种: 中文
• DOI: 10.3969/j.issn.2096-4684.2018.03.005

摘要

随着我国经济的发展和科技的进步,Hadoop云计算平台发展越来越成熟,通过可靠、高效的特性在互联网的应用越来越广泛,如:Facebook公司应用了Hadoop,促进了公司成功和发展.而HDFS作为Hadoop小文件存取系统,提高了文件存取的安全性和高效性,推动了Hadoop云计算平台的进步.但是由于HDFS系统的设计主要是针对大文件的存取与计算,所以HDFS系统却忽略了小文件的存取优化,当海量的小文件进行存储时,会产生大量的元数据,从而占用了Name Node大量的内存,影响了系统的存储效率和安全性能.如果大量的小文件一起访问时,会对HDFS中的Name Node和Data Node造成巨大的负荷压力,可能会直接导致系统的崩溃,所以,HDFS不适合大量小文件的存取.本文通过描述HDFS在存取小文件时出现的问题,从而提出针对性发展意见,优化和研究HDFS的小文件存取,促进HDFS系统的发展和进步.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郭任喜		1	0	0.0	0.0