基于SparkStreaming的实时日志处理平台设计与实现

• 作者: 朱晓民 薛瑞
• 来源期刊: 电信工程技术与标准化
• 学科: 工学
• 关键词: Hadoop Spark Streaming 实时日志处理系统
• 年，卷（期）: 2015,（9）
• 所属期刊栏目: 工程与设计
• 页码范围: 55-58
• 页数: 4页
• 分类号: TN915
• 字数: 2998字
• 语种: 中文

摘要

本文基于Hadoop Yarn平台，通过Spark Streaming流数据处理技术实时处理Web日志、系统日志、监控日志等，很好地解决了目前存在的问题，并使用HBase（Hadoop NoSQL Database）作为数据库存储，更好地适应日志数据规模的增长。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱晓民	北京邮电大学网络与交换技术国家重点实验室	179	1163	16.0	24.0
5	薛瑞	北京邮电大学网络与交换技术国家重点实验室	1	45	1.0	1.0