基于Hadoop的优化海量录音小文件存取性能的方法

• 作者: 徐慧英 徐欢欢 朱信忠 赵建民
• 来源期刊: 微型电脑应用
• 学科: 工学
• 关键词: Hadoop 小文件 优化 存储性能
• 年，卷（期）: 2015,（2）
• 所属期刊栏目: 研究与设计
• 页码范围: 1-3
• 页数: 3页
• 分类号: TP311
• 字数: 2948字
• 语种: 中文

摘要

Hadoop作为一个分布式计算框架,在处理大容量数据方面有着显著优势.然而,因其NameNode节点问题的内存有瓶颈等问题,对于处理海量小文件的存取不利.提出了一种针对海量录音小文件的优化方法,充分利用录音文件相关性的特点,通过预处理模块归类文件,把录音小文件合并成一系列的sequencefile,并建立全局索引,最后,采用缓存机制及缓存优化策略进行进一步优化.实验证明,该方法能有效提高大批量小文件的存取性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵建民	浙江师范大学数理与信息工程学院	121	1027	18.0	25.0
2	徐慧英	浙江师范大学数理与信息工程学院	51	404	11.0	17.0
3	朱信忠	浙江师范大学数理与信息工程学院	85	708	16.0	22.0
4	徐欢欢	浙江师范大学数理与信息工程学院	1	5	1.0	1.0