基于Hadoop的海量车牌图像处理优化技术

• 作者: 侯向宁
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 海量小文件 Hadoop分布式文件系统 分片 打包
• 年，卷（期）: 2018,（10）
• 所属期刊栏目: 应用开发研究
• 页码范围: 135-138,144
• 页数: 5页
• 分类号: TP391
• 字数: 3472字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2018.10.028

摘要

Hadoop集群下每个小文件均占据一个Block,一方面存储海量元数据信息消耗了大量的NameNode内存,另一方面,Hadoop为每个小文件单独启动一个Map任务,大量的时间花费在启动和关闭Map任务上,从而严重降低了MapReduce的执行速率.对此,在详细分析已有解决方案的基础上,采用CFIF将多个小文件分片打包到大分片中,给每个大分片只启动一个Map任务来执行,通过减少启动Map任务的数量,提高了处理海量小文件时的效率.通过设计Hadoop图像接口类,继承并实现CFIF抽象类,最终完成了对海量图像小文件的处理.与常规HDFS、HAR和MapFile方案在NameNode内存空间和运行效率方面进行了对比,结果表明,CFIF在NameNode内存占用率和运行效率方面,都有很好的表现.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	侯向宁	成都理工大学工程技术学院	15	31	3.0	5.0