支持非等值连接的分布式数据流处理系统

• 作者: 张蓉 房俊华 王晓桐 陈明珠
• 来源期刊: 华东师范大学学报（自然科学版）
• 学科: 工学
• 关键词: 数据流处理系统 连接处理 分布式计算
• 年，卷（期）: 2017,（5）
• 所属期刊栏目: 数据管理
• 页码范围: 11-19
• 页数: 9页
• 分类号: TP391
• 字数: 5347字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-5641.2017.05.002

摘要

实时处理的分布式数据流系统在当今大数据时代扮演着越来越重要的角色.其中,连接查询是大数据分析处理中最为重要且开销较大的操作之一.然而,由于现实应用产生的数据普遍存在倾斜分布现象,加之数据流本身的无界性与不可预知性,给在分布式数据流系统上进行连接查询处理提出了严峻的挑战.目前工业界较为主流的数据流系统处理连接查询的通用性较低,没有提供专门针对连接操作的接口;学术界推出的数据流连接查询原型系统虽然提供了接口,但大多面向等值连接,或仅能支持部分theta连接,且存在资源开销大、负载均衡性能低等问题.本文对比分析三种典型数据流系统,将基于Join-Matrix的连接处理技术与Storm系统相结合,设计并实现了通用的、可支持任意连接查询的数据流处理系统.实验展示了本文设计的系统具有更加良好的吞吐量与资源优化表现.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张蓉	华东师范大学计算机科学与软件工程学院上海高可信计算重点实验室	23	247	8.0	15.0
2	陈明珠	华东师范大学计算机科学与软件工程学院上海高可信计算重点实验室	5	8	2.0	2.0
3	王晓桐	华东师范大学计算机科学与软件工程学院上海高可信计算重点实验室	3	1	1.0	1.0
4	房俊华	华东师范大学计算机科学与软件工程学院上海高可信计算重点实验室	3	1	1.0	1.0