低延迟流处理系统的逆袭

• 作者: 吴甘沙 连城 钟翔
• 来源期刊: 程序员
• 学科: 工学
• 关键词: 计算系统 低延迟 复杂事件处理 竞争优势 数据平台 实时处理 消息代理 数据收集
• 年，卷（期）: cxy_2013,（10）
• 页码范围: 97-101
• 页数: 5页
• 分类号: TP274

摘要

“天下武功，唯快不破”，说的正是大数据之快。低延迟或实时处理已成为大数据平台的差异化竞争优势。流处理系统正上演一波逆袭：事件流处理／复杂事件处理和消息代理是伏笔，以ApacheFlume和FacebookScribe为代表的日志数据收集、汇聚和处理是开场白；随后Storm和DS4等典型流计算系统次第兴起；时至今日，Googlet的MillWheel、Linkedln的Samza，以及流式／批量计算一体化的SparkStreaming和TwitterSummingbird逐一涌现，百花齐放、渐入佳境。本文试图以Storm和MillWheel为例来分析流系统的设计思想。