基于列存储的MapReduce并行连接算法

• 作者: 乐嘉锦 张滨
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 大数据 列存储 MapReduce模型 MCF存储格式 并行连接 启发式优化方法
• 年，卷（期）: 2014,（8）
• 所属期刊栏目: 先进计算与数据处理
• 页码范围: 70-75,85
• 页数: 7页
• 分类号: TP181
• 字数: 4761字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2014.08.014

摘要

针对传统关系型数据库在对大数据进行操作时,系统性能严重下降、计算效率提升有限以及可扩展性差等问题,引入MapReduce并行计算模型,提出一种大数据上基于列存储的MapReduce并行连接算法.设计面向大数据的分布式计算模型,包括MapReduce分布式环境下的列存储文件格式MCF,采用协同定位策略实现对分布式存储的优化.使用分片聚集和子连接启发式优化方法,实现大数据在MapReduce分布式环境下并行连接算法.实验结果证明,在大数据分析处理中,该算法在执行时间和负载能力上有着较好的优化性能,同时具有良好的可扩展性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	乐嘉锦	东华大学计算机科学与技术学院	131	1480	20.0	32.0
2	张滨	东华大学计算机科学与技术学院	7	54	3.0	7.0