流式处理框架发展综述

• 作者: 戚红雨
• 来源期刊: 信息化研究
• 学科: 工学
• 关键词: 大数据 流式处理 框架 对比
• 年，卷（期）: 2019,（6）
• 所属期刊栏目: 综述与评价
• 页码范围: 1-8
• 页数: 8页
• 分类号: TP311.1
• 语种: 中文

摘要

大数据已经成为一种重要的信息和知识来源.但是,处理这种大规模的数据有很大的困难,因此衍生出了许多基于大数据的技术平台来进行有效的决策分析.流计算正在引起人们的兴趣,它为实时数据分析提供了机会.因此,大数据处理系统正在朝着更加面向流的方向发展,其中每条数据记录都是通过分布式、低延迟的计算框架在连续的基础上处理的.随着流处理技术的成熟,流分析相关的应用将服务于众多行业.开发流分析基础设施的挑战之一是为不同的应用选择正确的流式处理框架.为了解决这个问题,文章从编程模型、数据分区策略、状态管理、容错恢复等方面,对有代表性的开源(Storm、Spark Streaming、Flink、Kafka Stream)和商业(IBM Streams)流式处理框架进行了全面的对比分析.