Hadoop中处理小文件的四种方法的性能分析

• 作者: 李三淼 李龙澍
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: Hadoop 小文件处理 Hadoop的分布式文件系统(HDFS) MapReduce 大数据
• 年，卷（期）: 2016,（9）
• 所属期刊栏目: 大数据与云计算
• 页码范围: 44-49
• 页数: 6页
• 分类号: TP311
• 字数: 6695字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1406-0081

摘要

Hadoop的设计初衷是为了存储和分析大数据,其最擅长处理的是大数据集.但是在实际应用中,却存在着大量的小文件.一般情况下有四种处理海量小文件的方法,分别为默认输入格式TextInputFormat、为处理小文件而设计的CombineFileInputFormat输入格式、SequenceFile技术以及Harballing技术.为了比较在相同的Hadoop分布式环境下这四种技术处理大量小文件时的性能,选用了典型的数据集,利用词频统计程序,来比较四种小文件处理技术的性能差异.实验研究表明,在不同需求下处理大量小文件的时候,选用适当的处理方法能够在很大程度上提高大量小文件的处理效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李龙澍	安徽大学计算机科学与技术学院	199	1780	21.0	29.0
2	李三淼	安徽大学计算机科学与技术学院	1	12	1.0	1.0