基于Spark Streaming 实时数据采集分析系统设计

• 作者: 党寿江 刘学 刘春梅 王星凯
• 来源期刊: 网络新媒体技术
• 关键词: 基数计算 实时数据分析 Spark流式处理 不重复计数 HyperLogLog++
• 年，卷（期）: 2017,（5）
• 所属期刊栏目: 实用技术
• 页码范围: 48-53
• 页数: 6页
• 字数: 3361字
• 语种: 中文
• DOI: 10.3969/j.issn.2095-347X.2017.05.009

摘要

大数据量的实时数据分析系统,需要快速的处理和响应.为了实现实时数据分析,本文设计了基于Spark Streaming的实时数据采集分析系统,并对有状态计算操作的基数计算的精确计算方法和估算方法进行了比较分析.实验表明,基于HyperLogLog++的基数估算方法在处理时间和存储占用空间上有明显优势,而计算偏差基本可以忽略不计,更适于大数据的基数估算.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘春梅	中国科学院声学研究所国家网络新媒体工程技术研究中心	17	179	8.0	13.0
2	刘学	中国科学院声学研究所国家网络新媒体工程技术研究中心	60	207	8.0	12.0
3	党寿江	中国科学院声学研究所国家网络新媒体工程技术研究中心	4	15	2.0	3.0
7	王星凯	中国科学院声学研究所国家网络新媒体工程技术研究中心	2	13	2.0	2.0