一种基于业务特征优化HIVE中两个大表不等值关联的方法

• 作者: 陈喜洲
• 来源期刊: 广东通信技术
• 关键词: 大数据 HIVE 关联 优化
• 年，卷（期）: 2017,（11）
• 所属期刊栏目: 新技术·新业务
• 页码范围: 52-55
• 页数: 4页
• 语种: 中文
• DOI: 10.3969/j.issn.1006-6403.2017.11.011

摘要

HIVE使用类SQL语言大大简化了HDFS上数据管理操作,但是由于其计算引擎基于MapReduce,因此在部分数据操作上存在限制,其中不支持关联操作中的不等值链接条件就是其中一个例子.本文通过对HIVE关联过程的分析,针对HIVE现有计算框架无法直接实现不等值关联,需要通过先关联再筛选的关联方式导致计算量较大的情况,提出结合业务场景和业务目标进行针对性优化,并且结合案例进行分析与性能优化.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈喜洲	中国电信股份有限公司广州研究院	2	0	0.0	0.0