基于Flink+QLExpress处理海量数据的实时监控告警系统

• 作者: 陈丽 杨大龙 高中纤 张伟
• 来源期刊: 信息通信技术
• 关键词: 海量数据 告警系统 Flink Flink SQL QLExpress Canal
• 年，卷（期）: 2022,（1）
• 所属期刊栏目: 技术广角|Broad Angle for Technology
• 页码范围: 64-69
• 页数: 6页
• 语种: 中文
• DOI: 10.3969/j.issn.1674-1285.2022.01.011

摘要

为了满足大数据监控告警系统具备灵活告警及实时动态更新各类配置的需求,在深入研究各大数据监控告警系统架构的基础上,提出一种基于Flink+QLExpress新架构的处理海量数据的实时监控告警系统.首先通过Canal采集数据,然后利用聚合程序聚合数据后推送至Kafka,利用Flink从Kafka数据源获取源数据,并通过Flink SQL技术实现数据清洗及过滤,得到满足阈值条件的初级告警数据,最后通过QLExpress技术实现告警数据的二级过滤、告警信息的格式化及推送.结果表明此架构通过引入Flink SQL和QLExpress能够实现告警口径、告警阈值、告警格式及推送方式的动态更新与发布,增强了告警的实时性、灵活性及便利性,提升了运维效率.