基于MapReduce的并行异常检测算法

• 作者: 刘立芳 胡秋秋 齐小刚
• 来源期刊: 智能系统学报
• 学科: 工学
• 关键词: 数据挖掘 异常检测 局部离群因子 Hadoop MapReduce 分布式文件系统 并行计算 局部密度
• 年，卷（期）: 2019,（2）
• 页码范围: 224-230
• 页数: 7页
• 分类号: TP311
• 字数: 4416字
• 语种: 中文
• DOI: 10.11992/tis.201809007

摘要

为了提高数据挖掘中异常检测算法在数据量增大时的准确度、灵敏度和执行效率,本文提出了一种基于MapReduce框架和Local Outlier Factor(LOF)算法的并行异常检测算法(MR-DLOF).首先,将存放在Hadoop分布式文件系统(HDFS)上的数据集逻辑地切分为多个数据块.然后,利用MapReduce原理将各个数据块中的数据并行处理,使得每个数据点的k-邻近距离和LOF值的计算仅在单个块中执行,从而提高了算法的执行效率;同时重新定义了k-邻近距离的概念,避免了数据集中存在大于或等于k个重复点而导致局部密度为无穷大的情况.最后,将LOF值较大的数据点合并重新计算其LOF值,从而提高算法准确度和灵敏度.通过真实数据集验证了MR-DLOF算法的有效性、高效性和可扩展性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	齐小刚	西安电子科技大学数学与统计学院	68	388	10.0	17.0
2	刘立芳	西安电子科技大学计算机学院	32	133	6.0	10.0
3	胡秋秋	西安电子科技大学数学与统计学院	2	5	1.0	2.0