应对倾斜数据流在线连接方法

• 作者: 孟小峰 王春凯
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 分布式数据流管理系统 在线连接 数据倾斜 状态迁移 二部图连接模型
• 年，卷（期）: 2018,（3）
• 所属期刊栏目: 基于图结构的大数据分析与管理技术专刊
• 页码范围: 869-882
• 页数: 14页
• 分类号: TP311
• 字数: 7177字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.005440

摘要

并行环境下的分布式连接处理要求制定划分策略以减少状态迁移和通信开销.相对于数据库管理系统而言,分布式数据流管理系统中的在线θ连接操作需要更高的计算成本和内存资源.基于完全二部图的连接模型可支持分布式数据流的连接操作.因为连接操作的每个关系仅存放于二部图模型的一侧处理单元,无需复制数据,且处理单元相互独立,因此该模型具有内存高效、易伸缩和可扩展等特性.然而,由于数据流速的不稳定性和属性值分布的不均衡性,导致倾斜数据流的连接操作易出现集群负载不均衡的现象.针对倾斜数据流的连接操作,模型无法动态分配查询节点,并需要人工干预数据分组的参数设置.尤其是应对全部历史数据的连接查询,模型效率更低.基于上述问题,提出了管理倾斜数据流连接的框架,使用基于键值和元组混合的划分样式,有效应对二部图模型的各侧倾斜数据.设计了重新动态分配查询节点的策略和状态迁移算法,以支持全历史数据的连接查询和自适应的资源管理.针对合成数据和真实数据的实验结果表明,该方案可有效应对倾斜数据的连接操作,并进一步提升分布式数据流管理系统的吞吐率,特别是降低云环境中的计算成本.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孟小峰	中国人民大学信息学院	135	6213	41.0	77.0
2	王春凯	中国人民大学信息学院	3	37	2.0	3.0