大数据平台实时计算监控方案分析

• 作者: 赵志伟
• 来源期刊: 自动化与仪表
• 关键词: Flume Kafka Slipstream 实时计算 监控 逻辑校验 数据校验
• 年，卷（期）: 2020,（4）
• 所属期刊栏目: 创新与实践
• 页码范围: 103-108
• 页数: 6页
• 分类号: TP319
• 语种: 中文
• DOI: 10.19557/j.cnki.1001-9944.2020.04.023

摘要

在实时业务数据处理中,需要用到Flume、Kafka、Slipstream等一系列功能组件.在前台业务系统与大数据平台的数据传输过程中,需要监控数据是否正常流动.如果出现了异常,需要定位异常出现的位置.通过一系列的监控工具和方法,可以快速定位各个环节的功能组件是否正常运行.该技术方案的主要目的是为了监控大数据平台实时数据计算的整体流程是否正常工作,前台业务系统与大数据平台内部的数据校验、大数据平台内部的数据校验逻辑是否正确.一方面可以在日常开发过程中验证数据的可靠性,另一方面也可以帮助运维人员更快更精准地定位到产生异常数据的问题所在,从而对现有的业务逻辑进行优化,提高业务效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵志伟		4	7	1.0	2.0