基于HDFS和IMPALA的碰撞比对分析

• 作者: 潘晨光 王艳
• 来源期刊: 电视技术
• 学科: 工学
• 关键词: 公共安全 数据处理 HDFS MapReduce Hive
• 年，卷（期）: 2015,（14）
• 所属期刊栏目: 视频应用与工程
• 页码范围: 94-98
• 页数: 5页
• 分类号: TP311
• 字数: 4580字
• 语种: 中文
• DOI: 10.16280/j.videoe.2015.14.024

摘要

处理公共安全大数据需实现查询、全文检索、即时数据推送和内存计算等实时业务分析,而基于Hadoop生态系统建立的Hive不支持海量数据的实时查询,无法实现交互式查询和报表查询快速返回数据结果.针对Hive实时查询的不足,首次将Impala架构应用于公共安全数据处理上,结合Impala实时查询引擎的原理,分析了MapReduce上Hive的实时查询缺陷,比较了Impala和Hive的实时性能,改进了Impala上运行CURE碰撞比对算法,实现了异地数据碰撞比对的分析与展现.本系统的方案在实战应用中取得了较好的效果,可为公安安全领域构建大规模数据处理与分析系统提供技术参考.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	潘晨光		7	43	4.0	6.0
2	王艳		3	18	2.0	3.0