基于改进DPhyp算法的Impala查询优化

• 作者: 吴勇 周强 王敬昌 赵宇亮 陈岭 马骄阳
• 来源期刊: 计算机研究与发展
• 学科: 工学
• 关键词: 查询超图 代价模型 Impala大数据实时查询 左线性树 执行计划
• 年，卷（期）: 2013,（z2）
• 所属期刊栏目: 大数据处理、查询与检索
• 页码范围: 114-120
• 页数: 7页
• 分类号: TP311
• 字数: 5768字
• 语种: 中文

摘要

针对目前基于动态规划查询超图(dynamic programming hypergraphs,DPhyp)优化SQL查询算法产生指数运行时间、传统代价模型难以直接适用于Impala大数据实时查询系统等问题,提出基于改进DPhyp算法的Impala查询优化方法.首先,构建满足左线性树的搜索策略,缩小整个执行计划的搜索空间;接着,综合考虑数据移动代价及Hash join算法运行等关键因素,结合提出的代价模型,生成最佳的join顺序;最后,在生成的join顺序基础上构建执行计划,执行后返回最终查询结果.大量实验结果表明,改进的DPhyp算法与DPhyp生成的join顺序一致,且前者算法运行效率比后者要快近一倍.另外,改进的DPhyp算法结合提出的代价模型,比原始的Impala查询响应时间平均减少67％～80％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈岭	浙江大学计算机科学与技术学院	48	269	9.0	14.0
2	周强	浙江大学计算机科学与技术学院	60	351	12.0	15.0
3	吴勇		7	48	4.0	6.0
4	马骄阳	浙江大学计算机科学与技术学院	1	7	1.0	1.0
5	赵宇亮	浙江大学计算机科学与技术学院	1	7	1.0	1.0
6	王敬昌		10	62	5.0	7.0