混合MapReduce环境下大数据划分的查询优化

• 作者: 朱青 李伏
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 混合架构 查询优化 划分建议器
• 年，卷（期）: 2012,（10）
• 所属期刊栏目: 学术研究
• 页码范围: 877-887
• 分类号: TP392
• 字数: 7621字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.2012.10.002

摘要

在MapReduce与数据库的混合架构中,数据划分是影响查询性能的重要因素.对于开销最大的连接和聚集操作,采用混合MapReduce的方式实现,需要大规模数据的跨结点传输,网络传输和I/O开销巨大.为了减少传输的数据量,并提高连接操作的查询效率,提出了划分建议器模型.实现了MapReduce和数据库混合架构上的划分建议器,并计算划分代价,生成最优的数据划分方案,提高了系统效率.为了减少查询时间,依据划分建议器模型,提出了基于代价优先的生成策略和空间搜索算法,减少了划分建议器生成最优方案的时间.通过实验验证了划分建议器的有效性,使系统的整体查询代价最小,显著提高了系统性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱青	中国人民大学信息学院计算机系	70	739	14.0	27.0
2	李伏	中国人民大学信息学院计算机系	2	13	2.0	2.0