基于Hadoop的小文件存储优化方案

• 作者: 曹晟 李孟 秦志光
• 来源期刊: 电子科技大学学报
• 学科: 工学
• 关键词: Hadoop 索引机制 关联关系 小文件存储
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 计算机工程与应用
• 页码范围: 141-145
• 页数: 5页
• 分类号: TP391.6
• 字数: 5211字
• 语种: 中文
• DOI: 10.3969/j.issn.1001-0548.2016.01.024

摘要

Hadoop作为成熟的分布式云平台，对较大的文件提供了可靠高效的存储服务，但在处理海量小文件时效率显著降低。该文提出了基于Hadoop的海量教育资源小文件的存储优化方案，利用教育资源小文件间的关联关系，将小文件进行合并成大文件以减少文件数量，并索引机制访问小文件、元数据缓存和关联小文件预取机制来提高文件的读取效率。实验结果表明，该方法提高了Hadoop文件系统存储小文件的存取效率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	秦志光	电子科技大学计算机科学与工程学院	262	3157	26.0	46.0
2	李孟	电子科技大学计算机科学与工程学院	8	26	3.0	5.0
3	曹晟	电子科技大学计算机科学与工程学院	7	48	4.0	6.0