改善 Hadoop文件处理效率的技术研究

• 作者: 凌捷 樊超
• 来源期刊: 微电子学与计算机
• 关键词: 分布式文件系统 小文件 处理效率 多余空间 索引
• 年，卷（期）: 2014,（7）
• 页码范围: 125-128,132
• 页数: 5页
• 分类号: TP311.5
• 语种: 中文

摘要

提出一种改善 Hadoop文件处理效率的方法，在 Hadoop中添加一个小文件处理模块SFPM ，根据文件名为海量小文件建立二级索引，同时采用预加载技术将索引提前存入缓存，可提高文件查找访问效率；在合并文件时，采取舍弃多余空间的策略，避免将一个文件拆分存储在两个block上，减少了文件访问时间开销。实验结果表明该方法能有效减轻NameNode的负荷，提高小文件读写效率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	凌捷	广东工业大学计算机学院	133	1124	17.0	28.0
2	樊超	广东工业大学计算机学院	1	3	1.0	1.0