实时计算系统Storm及其应用研究

• 作者: 张军 李祖华 聂淼 郑翔
• 来源期刊: 高性能计算技术
• 学科: 工学
• 关键词: 分布式计算 流式计算 Storm
• 年，卷（期）: 2013,（5）
• 所属期刊栏目: 高性能计算技术
• 页码范围: 33-38
• 页数: 6页
• 分类号: TP316.3
• 语种: 中文

摘要

随着大数据时代的来临,由新型互联网服务催生出的流式数据处理已成为近年来业界研究的热点之一.Storm是Twitter公司于2011年9月开源的一个实时流式数据处理系统,本文在研究Stor特点与计算模型的基础上,以流式非结构化数据的文本提取、批量加载为例,对比三种数据规模的流式数据在Storm与传统大规模数据处理系统Hadoop上的处理性能.结果表明,Storm的响应速度明显优于传统批处理系统,在中等精确性计算要求下其性能也具有一定优势.