基于Spark Streaming的实时数据处理系统设计与实现

• 作者: 施炤
• 来源期刊: 现代信息科技
• 学科: 工学
• 关键词: 实时 Flume Kafka SparkStreaming HBase
• 年，卷（期）: 2020,（20）
• 所属期刊栏目: 信息技术
• 页码范围: 10-12
• 页数: 3页
• 分类号: TP274
• 语种: 中文
• DOI: 10.19850/j.cnki.2096-4706.2020.20.003

摘要

一般的大数据平台在历史数据处理方面大多都是先通过一些数据导入工具比如Sqoop、DataX等进行数据全量导入,而实时数据处理更加关注的是数据的实时性.针对实时数据处理问题,文章基于Spark Streaming设计实现了一种实时数据处理系统,能够实现高效的实时数据接入、传输、计算校验和存储.该系统具有实时数据获取、实时数据计算、实时数据存储等特点,为进一步从实时数据中获取有效信息提供了必要的基础支撑.