基于大数据的异常检测方法研究

• 作者: 刘菊君 周倩 姜磊 彭雄 杨先圣
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 离群数据检测 模型融合 商业大数据 提升框架
• 年，卷（期）: 2018,（7）
• 所属期刊栏目: 高性能计算
• 页码范围: 1180-1186
• 页数: 7页
• 分类号: TP301
• 字数: 5351字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2018.07.005

摘要

离群数据检测,主要目的是从海量数据中发现异常数据.其有以下两点好处:第一,作为数据预处理工作,减少噪声点对模型的影响;第二,针对特定场景检测出异常,并对异常现象本身进行挖掘,也非常有价值.目前,国内外主流的方法像LOF、KNN、ORCA等,无法兼顾全局离群点、局部离群点和离群簇同时存在的复杂场景的检测.针对这一情况,提出了一种新的离群数据检测模型.为了能够最大限度对全局、局部离群数据以及离群簇的全面检测,基于iForest、LOF、DBSCAN分别对于全局离群点、局部离群点、离群簇的高度敏感度,选定该三种特定基分类器,并且改变其目标函数,修正框架的错误率计算方式,进行融合,形成了新的离群数据检测模型ILD-BOOST.实验结果表明,该模型充分兼顾了全局和局部离群数据及离群簇的检测,且效果优于目前主流的离群数据检测方法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	姜磊	湖南科技大学知识处理与网格化制造湖南省普通高校重点实验室	13	21	3.0	4.0
2	刘菊君	湖南科技大学知识处理与网格化制造湖南省普通高校重点实验室	2	5	1.0	2.0
3	彭雄		3	5	1.0	2.0
4	周倩	湖南科技大学知识处理与网格化制造湖南省普通高校重点实验室	6	7	2.0	2.0
5	杨先圣	湖南科技大学知识处理与网格化制造湖南省普通高校重点实验室	2	5	1.0	2.0