基于HDFS的海量指纹数据云存储优化研究

• 作者: 张宇翔 徐慧英 朱信忠 赵建民
• 来源期刊: 浙江师范大学学报（自然科学版）
• 学科: 工学
• 关键词: HDFS 小文件 SequenceFile 文件合并 元数据存储 缓存策略
• 年，卷（期）: 2015,（2）
• 所属期刊栏目: 计算机
• 页码范围: 179-184
• 页数: 6页
• 分类号: TP391.4
• 字数: 3451字
• 语种: 中文
• DOI: 10.16218/j.issn.1001-5051.2015.02.010

摘要

HDFS设计之初只考虑到如何更好地处理大文件，并没有针对海量小文件进行优化，因此，当使用HDFS管理海量指纹数据小文件时会出现 NameNode 内存负载过重、上传及查询性能过低等问题。采用SequenceFile序列化技术进行小文件的合并，并且对于小文件合并、元数据存储、缓存策略等进行了针对性优化。实验证明，该优化方案可以有效地解决NameNode内存负载过重的问题，并且海量指纹数据小文件的上传和查询性能得到了提高。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵建民	浙江师范大学数理与信息工程学院	121	1027	18.0	25.0
2	徐慧英	浙江师范大学数理与信息工程学院	51	404	11.0	17.0
3	朱信忠	浙江师范大学数理与信息工程学院	85	708	16.0	22.0
4	张宇翔	浙江师范大学数理与信息工程学院	1	3	1.0	1.0