流水行云:支持可扩展的并行分布式流处理系统

• 作者: 刘庆云 张鹏 李焱 杜华明 谭建龙
• 来源期刊: 电子学报
• 学科: 工学
• 关键词: 流处理系统 可扩展 有状态算子 负载均衡 重配置
• 年，卷（期）: 2015,（4）
• 所属期刊栏目: 学术论文
• 页码范围: 639-646
• 页数: 8页
• 分类号: TN911.23
• 字数: 7217字
• 语种: 中文
• DOI: 10.3969/j.issn.0372-2112.2015.04.003

摘要

数据流处理系统,无论是集中式还是分布式,都需要克服单点瓶颈问题.不仅如此,如果数据流处理系统是静态配置的,那么还会出现处理节点供给不足或者过剩的情况,为此本文提出了一种支持可扩展的并行分布式数据流处理系统一流水行云,该系统根据有状态算子将查询拓扑划分为并行处理的子查询,并且通过有状态算子的分发器和收集器实现了数据流的保序,同时最大化减少并行处理的通信开销,不仅如此,结合负载均衡和重配置的可扩展技术使得该系统能够根据输入负载动态调整处理节点的负载和个数.60个节点组成的集群的实验证明了该系统的可扩展能力.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张鹏	中国科学院信息工程研究所	220	1605	21.0	32.0
3	谭建龙	中国科学院信息工程研究所	43	444	11.0	19.0
5	李焱		9	29	3.0	5.0
8	刘庆云	中国科学院信息工程研究所	10	87	5.0	9.0
14	杜华明		2	11	1.0	2.0