飞流:基于Storm的大规模日志数据实时多维统计分析平台

• 作者: 秦华 赵健博 赵宏博
• 来源期刊: 计算机科学与应用
• 学科: 工学
• 关键词: STORM 大规模日志数据 实时统计分析 多维统计分析 统一平台
• 年，卷（期）: 2017,（4）
• 页码范围: 351-358
• 页数: 8页
• 分类号: TP31

摘要

目前国内互联网企业单日日志数据增量达到TB级已很常见,大规模日志数据实时多维统计分析对于企业运行、管理和决策越来越重要。但目前大规模日志数据分析处理技术专业性强,企业中数据处理需求最为急迫的业务部门和运维部门都难有这样的技术能力。本论文整合Flume、Kafka、Storm、HBase等开源系统设计了飞流大规模日志数据实时多维统计分析平台,解决了多种日志数据接入、实时多维度统计分析、用户通过提交配置代替大数据编程来提交、更新和删除任务等关键问题,提供了飞流平台上用户不需要编程就能方便使用的大规模日志数据实时多维统计分析的功能。飞流平台在互联网企业中实际应用效果较好,满足了业务部门和运维部门的大部分日志数据多维统计分析需求。