MapReduce连接查询的I/O代价研究

• 作者: 于戈 宋杰 朱志良 李甜甜 鲍玉斌
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 连接查询 MapReduce I/O代价模型 查询优化
• 年，卷（期）: 2015,（6）
• 所属期刊栏目: 数据库技术
• 页码范围: 1438-1456
• 页数: 19页
• 分类号: TP311
• 字数: 16301字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.004586

摘要

数据的指数级增长给数据管理和分析带来了严峻的挑战,连接查询是数据分析中一种常用运算,而MapReduce是一种用于大规模数据集并行处理的编程模型,研究基于MapReduce的连接查询代价评估和查询优化,有着学术意义和应用价值.MapReduce连接查询算法的性能主要取决于I/O代价(包括本地和网络I/O),而I/O代价与数据集以及连接运算的特征参数相关,通过对二元连接的I/O代价评估可以优化多元连接执行计划.基于此,首先提出了二元连接查询的I/O代价模型;随后,对现有二元连接算法进行形式化定义和简单扩展,归纳出6种基于MapReduce连接查询算法,并通过算法白盒分析定义它们的I/O代价函数;最后,提出一种多元连接最优执行计划的选择算法.通过实验表明I/O代价模型的正确性且能够准确地反映算法的性能优劣.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱志良	东北大学软件学院	112	1344	20.0	32.0
2	于戈	东北大学信息科学与工程学院	426	6587	38.0	64.0
3	宋杰	东北大学软件学院	39	690	14.0	25.0
4	鲍玉斌	东北大学信息科学与工程学院	85	1496	22.0	36.0
5	李甜甜	东北大学信息科学与工程学院	12	250	7.0	12.0