基于共享的MapReduce多查询优化技术

• 作者: 姜涛 李战怀 潘巍 赵保学 金健 陈群
• 来源期刊: 计算机应用研究
• 关键词: 查询优化 MapReduce 查询共享 执行计划
• 年，卷（期）: 2013,（5）
• 所属期刊栏目: 软件技术研究
• 页码范围: 1405-1409
• 页数: 5页
• 分类号: TP311.13
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2013.05.031

摘要

为解决MapReduce处理多个查询时效率低下的问题,提出了一种基于查询共享的MapReduce查询优化方法——ShareOpt优化.通过分析所有查询的操作模式,找出其中共享的子查询部分,并根据子查询的执行顺序构造执行计划有向图(DAG),最终确定一组查询的整体执行计划.通过与Hive和Pig的对比,验证了该方法能够在保证准确性的情况下有效地减少执行步数,提高查询执行的效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李战怀	西北工业大学计算机学院	254	2139	21.0	35.0
2	陈群	西北工业大学计算机学院	54	495	11.0	20.0
3	姜涛	西北工业大学计算机学院	11	53	5.0	7.0
4	赵保学	西北工业大学计算机学院	3	25	2.0	3.0
5	潘巍	西北工业大学计算机学院	17	221	7.0	14.0
6	金健	西北工业大学计算机学院	2	25	2.0	2.0