基于MapReduce的混合数据孤立点检测算法

• 作者: 梁吉业 赵兴旺 郭一鹏
• 来源期刊: 小型微型计算机系统
• 学科: 工学
• 关键词: 孤立点检测 混合型数据 邻域计数 MapReduce
• 年，卷（期）: 2014,（9）
• 所属期刊栏目: 计算机软件与数据库
• 页码范围: 1961-1966
• 页数: 6页
• 分类号: TP391
• 字数: 6420字
• 语种: 中文

摘要

在处理混合型大数据时,已有孤立点检测算法往往存在时间代价大、适用性差等问题.为了解决这一问题,本文基于最近邻思想提出了一个混合数据孤立点检测算法.该算法依据邻域计数的思想给出混合数据对象之间的相异性度量,并基于最近邻定义了对象的孤立度,进而设计出一个混合数据孤立点检测算法,并且基于MapReduce编程模型对该算法进行了并行化设计以进一步提高算法执行效率.最后,在UCI数据集上通过与已有算法比较实验结果表明,本文提出的混合数据孤立点检测算法能有效地检测出孤立点,具有参数少、检测精度高的优点;算法的并行化实现提高了算法对混合型大数据的孤立点检测效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	梁吉业	山西大学计算机与信息技术学院	114	1486	21.0	34.0
5	赵兴旺	山西大学计算机与信息技术学院	11	144	6.0	11.0
9	郭一鹏	山西大学计算机与信息技术学院	1	4	1.0	1.0