Hadoop中处理海量小文件的方法

• 作者: 周玲芳 张清清 李旭 李长云 胡淑新
• 来源期刊: 计算机系统应用
• 关键词: Hadoop HDFS 小文件 HDFS的I/O性能
• 年，卷（期）: 2015,（11）
• 所属期刊栏目: 软件技术·算法
• 页码范围: 157-161
• 页数: 5页
• 字数: 3350字
• 语种: 中文

摘要

针对Hadoop中提供底层存储的HDFS对处理海量小文件效率低下、严重影响性能的问题.设计了一种小文件合并、索引和提取方案,并与原始的HDFS以及HAR文件归档方案进行对比,通过一系列实验表明,本文的方案能有效减少Namenode内存占用,提高HDFS的I/O性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李长云	湖南工业大学计算机与通信学院	130	747	12.0	21.0
2	李旭	湖南工业大学计算机与通信学院	4	17	3.0	4.0
3	张清清	湖南工业大学计算机与通信学院	4	17	3.0	4.0
4	胡淑新	湖南工业大学计算机与通信学院	6	26	3.0	5.0
5	周玲芳	湖南工业大学计算机与通信学院	6	26	3.0	5.0