基于MapReduce的并行加权k近邻与离群检测

• 作者: 张继福 赵旭俊 郭娟娟
• 来源期刊: 太原科技大学学报
• 学科: 工学
• 关键词: 并行计算 加权k近邻 离群检测 Z-order曲线
• 年，卷（期）: 2019,（4）
• 所属期刊栏目: 计算机科学与信息工程
• 页码范围: 249-257
• 页数: 9页
• 分类号: TP311
• 字数: 7588字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-2057.2019.04.001

摘要

利用MapReduce编程模型,提出一种并行的加权k近邻与离群检测方法WKNNOM-MR.该算法首先对输入数据随机均匀采样,在样本数据集中采用信息熵计算各个属性的权值;然后在集群中的数据节点上对输入数据进行加权,并将其映射到Z-order空间填充曲线,给出了一种基子Z-order的加权k近邻查询方法;根据每个对象与其加权k近邻之间的距离计算离群因子,在兼顾最小距离与平均距离的基础上,给出离群点检测算法;最后在具有5个节点的Hadoop集群上实现该算法,并采用人工合成数据集、UCI标准数据集进行实验,结果验证了该算法的有效性、可扩展性和可伸缩性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张继福	太原科技大学计算机科学与技术学院	94	600	14.0	20.0
2	赵旭俊	太原科技大学计算机科学与技术学院	26	42	4.0	5.0
3	郭娟娟	太原科技大学计算机科学与技术学院	1	0	0.0	0.0