单机下Hadoop小文件处理性能分析

• 作者: 乌云 崔超远 袁玉 陈祝红
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: Hadoop Hadoop的分布式文件系统(HDFS) MapReduce 小文件处理 文件输入格式
• 年，卷（期）: 2013,（3）
• 所属期刊栏目: 理论研究、研发设计
• 页码范围: 57-60
• 页数: 4页
• 分类号: TP311
• 字数: 5610字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1206-0452

摘要

Hadoop主要是针对大量数据进行分布式处理的软件框架,即适合于处理大文件,但它们是否也适合处理小文件值得商榷.以词频统计为例,通过在单机环境下一些典型文件测试集的实验,对比了不同文件输入格式对Hadoop处理小文件性能的差异.从Hadoop的工作流程和原理上解释了出现此性能差异的原因.通过分析得出多个小文件整合为一个数据片split有助于改善Hadoop处理小文件性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	崔超远	中国科学院合肥智能机械研究所	15	107	5.0	10.0
2	陈祝红	中国科学院合肥智能机械研究所	3	32	2.0	3.0
4	乌云	中国科学院合肥智能机械研究所	12	72	5.0	8.0
5	袁玉	中国科学院研究生院计算与通信工程学院	2	30	2.0	2.0