基于Hive的高可用双引擎数据仓库

• 作者: 刘学敏 张彤彤 李翀 杜伟静
• 来源期刊: 计算机系统应用
• 关键词: 数据仓库 Hive 高可用 OLAP Hadoop
• 年，卷（期）: 2019,（9）
• 所属期刊栏目: 系统建设
• 页码范围: 65-71
• 页数: 7页
• 字数: 5034字
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.007040

摘要

打破信息孤岛,整合异构数据,汇聚共享交换,深度分析挖掘,提供行业领域辅助决策和态势分析具有深远的理论和应用价值.本文以中国科学院教育科研态势感知服务的实际需求为牵引,设计并实现了一套基于Hive的Hadoop/Spark双计算引擎大数据仓库,支持多种方式OLAP分析,进行了可用性、负载均衡、资源管理的优化设计,为后续进行全院数据汇聚挖掘、知识图谱构建、学科态势分析提供了平台支撑.实验表明,系统灵活高效,高可用可扩展,资源调度科学,负载均衡效果明显.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李翀	中国科学院计算机网络信息中心	31	119	6.0	8.0
2	刘学敏	中国科学院计算机网络信息中心	8	96	5.0	8.0
3	杜伟静	中国科学院计算机网络信息中心	2	2	1.0	1.0
7	张彤彤	中国科学院计算机网络信息中心	2	2	1.0	1.0