Hadoop对小文件的处理性能的研究

• 作者: 艾明
• 来源期刊: 信息技术
• 学科: 工学
• 关键词: Hadoop MapReduce HDFS (Hadoop Distributed File System) Hadoop Archives sequence files
• 年，卷（期）: 2015,（10）
• 所属期刊栏目: 研究与探讨
• 页码范围: 142-144,148
• 页数: 4页
• 分类号: TP391
• 字数: 2816字
• 语种: 中文
• DOI: 10.13274/j.cnki.hdzj.2015.10.038

摘要

Hadoop是Apache基金会所开发的支持涉及数千个节点和海量数据的分布式计算的高级项目.它是一个开源免费的软件框架,受到谷歌的MapReduce和谷歌文件系统(GFS)的启发,由Java语言实现,全球的开发志愿者共同对它进行完善.Hadoop的子项目包括HDFS,MapReduce,HBase,Hive等.HDFS是一个分布式文件系统,提供高吞吐量的应用数据接口使得Hadoop具有很好的性能.MapReduce是一个软件框架,它执行涉及海量集群数据的分布式计算的MapReduce算法.尽管Hadoop被广泛使用,但它仍然存在一些影响性能的缺陷,对于小文件的处理能力就是其中缺陷之一.档案文件(Hadoop Archives)和序列文件(sequence files)是两种现有的改善小文件处理问题的解决方案,但它们仍然有各自的不足,提出一个解决方案,保留它们的优点使Hadoop在处理小文件上拥有更好的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	艾明		1	3	1.0	1.0