分布式可扩展数据流连接算法

• 作者: 张蓉 房俊华 王晓桐
• 来源期刊: 华东师范大学学报（自然科学版）
• 学科: 工学
• 关键词: 数据流连接 Join-Matrix 数据划分 分布式计算
• 年，卷（期）: 2016,（5）
• 所属期刊栏目: 查询处理
• 页码范围: 81-88
• 页数: 8页
• 分类号: TP391
• 字数: 4572字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-5641.2016.05.010

摘要

Join-Matrix是一种高性能的连接矩阵模型,方便部署于分布式环境下,支持任意连接谓词的数据流连接操作.由于采取随机分发元组作为路由策略,Join-Matrix可利用对元组内容的不敏感性来有效抵御数据倾斜.为了实现工作节点的负载均衡以及网络传输代价的最小化,基于连接矩阵模型设计一种高效的数据划分方案尤为重要.针对数据流连接处理,本文设计并实现了一种新颖的连接算子,可灵活地进行划分方案的自适应调整,以应对实时动态变化的数据分布.具体来说,我们根据数据流流量的采样信息和系统额定负载,通过一个轻量级的决策器制定出一个数据划分方案和相应的数据迁移计划,在保证输出结果完整性与正确性的情况下,实现迁移代价的最小化.本文在多种不同的数据集上进行了大量对比实验,结果证明,在资源利用率、系统吞吐率与时间延迟等方面,该连接算子较对比系统具有更高的性能体现.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张蓉	华东师范大学数据科学与工程研究院上海高可信计算重点实验室	23	247	8.0	15.0
2	王晓桐	华东师范大学数据科学与工程研究院上海高可信计算重点实验室	3	1	1.0	1.0
3	房俊华	华东师范大学数据科学与工程研究院上海高可信计算重点实验室	3	1	1.0	1.0