基于MapReduce的混合连接算法

• 作者: 罗军 胡龙
• 来源期刊: 计算机与现代化
• 学科: 工学
• 关键词: MapReduce Hadoop 分区连接 auto-tunning Hive
• 年，卷（期）: 2015,（6）
• 所属期刊栏目: 算法设计与分析
• 页码范围: 86-91
• 页数: 6页
• 分类号: TP391
• 字数: 4880字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2015.06.019

摘要

运行在Hadoop上的数据仓库Hive可以让更多的用户通过SQL接口来处理Hadoop数据。然而,Hive却没有为连接操作提供有效的途径,而连接操作是一种常见且在Hadoop中非常费时的操作。为了解决连接操作在Hadoop中性能的问题,本文提出一种混合策略的连接算法HJ-A,根据当前应用场景在几种连接算法之间选择相对较合适的算法,实验结果表明,HJ-A可以在大多数的Hadoop场景中发挥很好的性能。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	罗军	重庆大学计算机学院	91	712	13.0	21.0
2	胡龙	重庆大学计算机学院	1	1	1.0	1.0