云环境下基于二维节点矩阵的分级多表连接

• 作者: 卫琳 周梦雪 曹仰杰 石磊 陶永才
• 来源期刊: 小型微型计算机系统
• 学科: 工学
• 关键词: MapReduce 海量数据 云计算 多表连接
• 年，卷（期）: 2014,（5）
• 所属期刊栏目: 软件与数据库技术
• 页码范围: 945-950
• 页数: 6页
• 分类号: TP311
• 字数: 6078字
• 语种: 中文

摘要

随着“大数据”时代的到来,分布式数据处理得到了广泛的应用和发展.在基于云计算的海量数据处理中,复杂处理要求逐渐增多,数据分析通常需要跨越多个数据集,因此亟需高效的多表连接机制.现有的基于MapReduce的多表连接机制多采用串行级联方式实现多个不同数据集连接,操作灵活但效率不高.本文在分析现有并行连接模型的基础上,提出基于二维节点矩阵的分级多表连接模型TD-HMJ.TD-HMJ在一次Map过程中处理全部连接属性,Reduce过程建立二维节点矩阵实现多组3(或2)表并行连接,并通过多级Reduce过程实现多组间连接.理论分析和实验表明TD-HMJ减少了数据传输量,缩短了多表连接时间,提高了连接效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	石磊	郑州大学信息工程学院	143	984	17.0	24.0
2	卫琳	郑州大学软件技术学院	55	433	12.0	18.0
3	陶永才	郑州大学信息工程学院	42	284	8.0	14.0
4	曹仰杰	郑州大学软件技术学院	24	207	7.0	13.0
5	周梦雪	郑州大学信息工程学院	1	2	1.0	1.0