基于MR的高可靠分布式数据流统计模型

• 作者: 木伟民 朱蔚林 王伟平 金宗泽
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 数据流 分组统计 连续查询 分布式系统 实时处理
• 年，卷（期）: 2018,（1）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 6-10,16
• 页数: 6页
• 分类号: TP391
• 字数: 5685字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2018.01.002

摘要

结合流数据独有的特点,以数据流上基于窗口模型的连续分组统计为应用场景,结合现今主流的流数据处理平台Storm和Spark Streaming的优点,提出了一个高吞吐、低延迟、高可扩展性的分布式数据流统计模型Mars,解决由于流数据易失、时效性强造成的吞吐量压力大、数据延迟低等问题.在容错方面,Mars提供了at-least-once语义支持以防出现重大错误.采用真实实验环境对Mars进行测试,与目前流行的分布式流处理平台Spark Streaming和Storm相比,Mars对数据的实时性操作延迟介于二者之间,但就不同的集群规模而言,Mars的吞吐率明显优于二者1到2倍,就语义准确性而言,Mars实现了与Storm同级别的语义限制.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王伟平	中国科学院信息工程研究所	18	334	8.0	18.0
2	朱蔚林	中国科学院信息工程研究所	1	2	1.0	1.0
6	木伟民	中国科学院信息工程研究所	1	2	1.0	1.0
7	金宗泽	中国科学院信息工程研究所	1	2	1.0	1.0