基于HDFS开源架构的异常数据实时检测算法

• 作者: 陈国瑞 袁旭华
• 来源期刊: 计算机仿真
• 关键词: 开源架构 异常数据 实时检测 支持向量机 最小闭包球
• 年，卷（期）: 2021,（8）
• 所属期刊栏目: 仿真服务化
• 页码范围: 445-449
• 页数: 5页
• 分类号: TP393
• 语种: 中文
• DOI: 10.3969/j.issn.1006-9348.2021.08.089

摘要

针对当前异常数据实时检测算法未考虑空间复杂度,导致异常数据检测率低,通信开销大,造成检测误报率高,运行时间长的问题,提出基于HDFS开源架构的异常数据实时检测算法.基于HDFS开源架构搭建数据分布式云存储体系,采用多级哈希表搜索算法,查询异常数据.基于支持向量机设计支持向量数据描述异常检测算法,计算最小超球体边界描述数据分布范围,依据此边界分类未知异常样本数据,利用最小闭包球算法,优化求解支持向量数据描述异常检测分类器,实现异常数据实时检测.实验结果表明,上述算法的异常数据检测率较高,能够有效节省通信开销,降低检测误报率,缩短运行时间.