QAR数据仓库在Hive中的构建

• 作者: 冯兴杰 吴稀钰 房戍 贺阳 赵杰
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: Hive 快速存取记录器(QAR) 数据仓库 数据处理 Hadoop
• 年，卷（期）: 2017,（11）
• 所属期刊栏目: 大数据与云计算
• 页码范围: 90-94
• 页数: 5页
• 分类号: TP311
• 字数: 4546字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1603-0290

摘要

分析QAR数据是一种非常有效的监控飞机状态的方法.但随着民航领域的快速发展,QAR数据的规模急剧增大,现有基于关系型数据库的QAR数据仓库不足以支撑海量数据下的存储与分析,导致海量的QAR数据因无法处理变成了信息垃圾.因此,针对现有数据仓库的不足,提出基于Hive的QAR数据仓库.通过对Hive特点及QAR数据结构分析,设计了基于Hive的QAR数据仓库的总体架构和存储结构.通过将现有数据仓库中的数据移植到基于Hive的QAR数据仓库,实现了对已有数据仓库的兼容.实验结果表明基于Hive的QAR数据仓库在面对QAR数据剧增的情况下,处理所需时间依然保持着线性增长.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	冯兴杰	中国民航大学计算机科学与技术学院	61	398	10.0	18.0
2	贺阳	中国民航大学计算机科学与技术学院	3	22	2.0	3.0
3	赵杰	中国民航大学计算机科学与技术学院	2	10	1.0	2.0
4	吴稀钰	中国民航大学计算机科学与技术学院	2	10	1.0	2.0
5	房戍	中国民航大学计算机科学与技术学院	2	9	1.0	2.0