QJoin:质量驱动的乱序数据流连接处理技术

• 作者: 吕品 李陶深 杨宁 许嘉 魏星贝
• 来源期刊: 广西科学
• 学科: 工学
• 关键词: 质量驱动 连接处理 乱序数据流 存储开销 流元组 缓存
• 年，卷（期）: 2020,（3）
• 所属期刊栏目: 大数据与高性能计算
• 页码范围: 266-275
• 页数: 10页
• 分类号: TP391
• 字数: 9056字
• 语种: 中文
• DOI: 10.13656/j.cnki.gxkx.20200707.004

摘要

数据流乱序现象会导致数据流处理结果的丢失,给数据流的分析处理带来了巨大困难.本研究探讨了质量驱动下的乱序数据流连接处理问题,提出一种质量驱动的乱序数据流连接处理技术(QJoin).QJoin采用缓冲存储技术和对称连接策略,实现并确保对流元组进行即时分析处理,从而降低了流元组处理的平均等待时间.同时,基于质量驱动的理念,根据临近阶段连接处理过程中收集统计的数据,自适应地调整和优化内存缓存区的大小,从而在满足用户结果质量要求的前提下,降低系统内部历史数据的内存缓存量,尽可能保证迟到元组的连接处理完整性.真实数据集上的实验结果表明,与传统的数据流乱序处理技术MP-K-slack相比,QJoin在满足用户结果质量要求的前提下,确保能够即时地分析处理数据流的流元组,显著降低系统的内存开销.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李陶深	广西大学计算机与电子信息学院	394	2640	25.0	36.0
5	许嘉	广西大学计算机与电子信息学院	14	9	1.0	2.0
7	吕品	广西大学计算机与电子信息学院	13	8	1.0	2.0
13	杨宁	广西大学计算机与电子信息学院	2	1	1.0	1.0
14	魏星贝	广西大学计算机与电子信息学院	1	0	0.0	0.0