基于Hadoop的云存储系统文件处理与安全研究

• 作者: 李颖超
• 来源期刊: 现代电子技术
• 关键词: Hadoop HDFS 私有云存储 小文件优化
• 年，卷（期）: 2016,（21）
• 所属期刊栏目: 信息安全
• 页码范围: 112-115,119
• 页数: 5页
• 分类号: TN911-34|TM417
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2016.21.027

摘要

由于公有云存储中存在数据泄露、丢失、存储不稳定等不安全因素,私有云存储成为解决当前企业安全存储需求的最佳选择.针对单点内存负载过高,写入效率低下的问题,设计了一套处理大量小文件的模块,通过缓存多个小文件合并,再合并文件元数据放置索引表,通过索引表中的偏移量寻找块中小文件数据的方式,提高HDFS写入大量小文件的系统性能,经过测试验证了优化方案的有效性.