基于MapReduce的内存并行Join算法研究

• 作者: 吴思 李成 许胤龙 郭帆
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 内存连接 数据封装 MapReduce
• 年，卷（期）: 2016,（7）
• 所属期刊栏目: 算法
• 页码范围: 257-260,277
• 页数: 5页
• 分类号: TP3
• 字数: 4124字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2016.07.059

摘要

传统的并行Join算法缺少必要的容错能力,且数据划分不均往往导致单个线程的阻塞成为整个任务执行的瓶颈.针对以上问题,分析内存连接的各个阶段对Join算法性能的影响,提出一种可利用MapReduce的动态机制,避免了传统并行连接算法的数据任务分派不均和容错问题.算法使用MapReduce编程框架,并通过封装分块标记减少MapReduce Join执行过程中标记和排序的计算开销,使算法性能显著提高.实验结果表明,该算法在共享内存体系结构下,性能上相比已有算法有显著改进.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李成	中国科学技术大学计算机科学与技术学院	58	439	12.0	18.0
2	郭帆	中国科学技术大学计算机科学与技术学院	10	14	2.0	3.0
3	许胤龙		11	39	4.0	5.0
4	吴思		2	2	1.0	1.0