分布式数据流关系查询技术研究

• 作者: 孟小峰 王春凯
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 大数据 数据流 流处理系统 流查询系统 关系查询技术
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 大数据分析
• 页码范围: 80-96
• 页数: 17页
• 分类号: TP311
• 字数: 14940字
• 语种: 中文
• DOI: 10.11897/SP.J.1016.2016.00080

摘要

随着在线分析连续数据流的需求日益增多，用于实时处理海量、易变数据的数据流管理系统由此产生。大数据时代下，随着开放式处理平台的发展，为处理大规模且多样化的数据流，出现了若干分布式流处理系统，如 S4、Storm、Spark Streaming 等。然而，为提升处理系统的易用性和处理能力，需要在其之上构建具有抽象查询语言的关系查询系统，以构筑完整的分布式数据流管理系统。如何设计并实现高效易用的关系查询系统是一个亟待解决的问题。文中首先概述了分布式数据流查询处理的典型应用、数据特征和实现目标。进而，提出了分布式数据流关系查询系统的基础架构，并基于此架构深入分析了用户自定义函数查询、查询优化、驱动方式、编译技术、算子管理、调度管理和并行管理等关键技术。然后，对比分析了 SPL、StreamingSQL、Squall 和 DBToaster 这4种具有代表性的查询系统实例。最后，指明了该技术在优化技术、执行策略、实时精准查询和复杂查询分析等方面所面临的挑战和今后的研究工作。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孟小峰	中国人民大学信息学院	135	6213	41.0	77.0
2	王春凯	中国人民大学信息学院	3	37	2.0	3.0